班玛县历史悠久，可追溯到秦汉时期。据传，约在千年以前，一从西藏阿里迁居果洛南部地区的头人，战胜当地土著部落后成诸部落之长，其后裔第四代部落头人果洛帕合太儿，因“班玛”这一名称既吉祥又符合民族的心愿，故给三儿子取名为班玛本。班玛本长大后，接管玛柯河两岸各部落，后逐渐将所属各部落统一，称为班玛本，为上、中、下果洛三大部族之下部族。
秦汉时，班玛地区为党项羌人所据，属西羌游牧部落牧地。西晋时吐谷浑入据。北周以后，党项始强，按氏族分设为家族，以姓氏为号，结成大小不等部落，各自分立，划地游牧。唐贞观年间，党项细封氏首领步赖率众附唐，在步赖驻牧地（班玛地区）上隶轨州辖地。唐授步赖为刺史，颁玉玺，敕诏慰抚。项拓跋氏首领拓赤辞驻牧地，因吐谷浑君立伏允率部追驻，依附吐谷浑，后经唐将征讨和岷州督李道彦等部往劝附，始归附唐朝。唐封赤辞为西戎州都督，赐姓李，原驻牧地，复归松州都督府节制，班玛地区入唐版图。
唐高宗时，吐蕃王朝强大，吞并吐谷浑，班玛地区归属吐蕃。约900年前，一些外来吐蕃人在此从农。随着人口的繁衍，一部分人开始从牧，并沿玛柯河、多柯河向南北迁徙，逐步游牧于果洛全境。吐蕃王朝崩溃后，果洛全境纳入宋朝版图，实际上有互不统属的地方势力支配。从元至清，虽先后为“吐蕃等路宣慰使司都元帅府”、“朵甘思行都指挥使司、和硕特蒙古部、四川松潘镇漳腊营”辖地，但一直未建过地方政权机构，实际统治者为部落头人。
青海建省后，于中华民国24年（公元1935年）隶属果洛行政督察区管辖，次年复归各部落头人管理。班玛解放前，仍处于封建部落割据状态，当时有13个大部落、29个小部落。1936年6月底，甘孜会议结束后，红二、四方面军从甘孜出发面向川北阿坝地区前进。7月，由贺龙（时任第二方面军总指挥兼第二军团长）、任弼时（时任第二方面军副政委）率领的中国工农红军第二方面军的二军团、六军团（军团长陈伯军，政委王震，参谋长谭家述、彭绍辉，政治部主任张子意）和第三十二军（军长罗炳辉、政委何长工）3万余人，长征到达任玉（班前）、王楼（称王柔）、哑公寺（阿什羌寺）一带，同后续部队向阿坝前进。红军进入班玛后，一路行军，艰苦卓绝，或激战荒野，或风餐露宿，所到之处给藏族人民留下军纪严明、爱民如子的深刻印象。红军当年在子木达沟口南侧石崖上书写的“北上响应全国抗日反蒋斗争！安庆宣”的标语，字迹清晰，历历在目。
1953年7月，西北军政委员会果洛工作团派出的白玛本工作团初探班玛，8月，成立班玛工作团团务委员会，1955年4月，班玛县正式成立，县人民委员会驻莫巴乡（现赛来塘镇）。自此，县名沿用至今。
