海西历史悠久。古为西羌地，两汉时今海西东部为先零卑禾等羌人部落活动范围，西部属“若羌国”。汉平帝元始四年（公元4年），王莽置西海郡，今海西东部属之。王莽末郡废，复为羌地。
东晋后期，今海西西部为吐谷浑属地，东部为鲜卑乙弗国地（后并于吐谷浑）。吐谷浑首领拾寅在位时（约公元452年），曾在白兰（今都兰县诺木洪一带）修建城廓，至吐谷浑伏连筹即位期间（公元491—529年）曾建都于今海西境内，后移置伏俟城（今共和县石乃亥乡铁卜洽古城）。
隋大业五年（公元609年），隋军击败吐谷浑，在其地设置四郡，今海西东部属西海郡，西部属鄯善郡。隋末，吐谷浑复据故地。
唐贞观十年（公元636年），吐谷浑成为唐属国。龙朔三年（公元663年），吐蕃王国灭吐谷浑据有其地，今海西州曾隶吐蕃腊城节度使。
宋代，今海西西部为撒里畏兀尔（即黄头回纥）地，东部为吐蕃地方政权——角厮啰势力范围。
元代，今海西州西北地区为甘肃行省沙州路辖区，其余大部为宣政院所属吐蕃等处宣慰司辖区。元顺帝时，设曲先答林元帅府，封卜烟帖木儿为宁王，镇守今柴达木西部地区。
明初，今海西为安定、阿瑞、曲先、罕东四卫地，由西宁卫兼管。武宗正德七年（公元1512年）左右，东蒙古诸部开始进入青海，攻破塞外四卫，至此，成为东蒙古诸部统治地区。崇祯十年（公元1637年），居住在今新疆卫拉特蒙古（即西蒙古）和硕特部，在其首领顾实汗的率领下进入青海，统辖今海西地区。
清雍正三年（公元1725年），清庭编定青海蒙古左右两翼盟29旗，今海西州境划定9个蒙古旗，统归“钦差办理青海蒙古番子事务大臣”管辖。乾隆二十二年（公元1757年），班禅商上喇嘛移住巴彦托辉、岳霍洛依（即今都兰县香日德一带），为班禅香家旗。咸丰八年（公元1858年），藏族汪什代海部落迁入今天峻县境内驻牧，当地的蒙古北前旗北迁祁连。至光绪年间（公元1875—1908年）藏族沟里、日安两个百户部落迁入今都兰县境内落居。
民国元年（公元1912年）7月，青海办事大臣改为青海办事长官，今海西地区属之。次年增设蒙番宣慰使，管理蒙藏事务。民国4年（公元1915年），改由甘边宁海镇守使兼管。民国6年（公元1917年），归都兰理事辖，上隶甘边宁海镇守使。民国19年（公元1930年），改都兰理事为都兰县，辖今海西州全境，上隶青海省。民国27年（公元1938年），在今都兰县察汗乌苏镇设立青海省第八行政督察专员公署，民国30年（公元1941年），改称青海省第一行政督察专员公署，都兰县属其管辖。此间，从民国24年至民国30年（公元1935—1941年），生活在新疆的部分哈萨克族先后迁入今海西州境内落居。
1949年9月，青海解放。同年11月成立都兰县人民政府（驻地察汗乌苏），辖今海西州全境，直隶青海省。1952年9月26日撤销都兰县，设立县级“都兰县蒙藏哈萨克族自治区”，1954年1月25日改建为专区级“海西蒙藏哈萨克族自治区”（驻察汗乌苏），1955年12月12日更名为“海西蒙藏哈萨克族自治州”。
为开发建设柴达木盆地，1955年7月30日在格尔木设立了“柴达木工作委员会”，作为青海省人委派出机构，处理开发建设柴达木盆地的日常工作。1956年2月更名为“柴达木盆地工作委员会”，同年3月驻地迁至大柴旦。1957年4月撤销“柴达木盆地工作委员会”，改设“柴达木盆地行政委员会”，1958年1月更名为“柴达木行政委员会”。
1959年1月，海西州人委由察汗乌苏迁驻大柴旦与“柴达木行政委员会”合署办公。1963年8月26日撤销“柴达木行政委员会”，全政区称“海西蒙古族藏族哈萨克族自治州”。1966年4月州府迁驻德令哈。1984年5月全州的哈萨克族群众自愿要求，并经国务院同意，全部迁返新疆，1985年5月21日定名为“海西蒙古族藏族自治州”。
