秦以前为古羌人居地。
汉宣帝神爵二年（前60），州北部为河关县地，隶金城郡。
王莽末年，州境为羌人所据。
东汉建武十年（34）冬，恢复河关县，改隶陇西郡。
（《后汉书·郡国志》）东汉末及三国时，州境复为羌地，在史书所称的“大、小榆谷”范围内。
西晋末、东晋初，州境陆续成为吐谷浑属地。
后凉时（386-403），州北部为浇河郡（辖县无考）所辖，南部仍为吐谷浑地。
南凉、北凉因之。
北魏太平真君五年（444），原浇河郡地入北魏版图。
后来又失于吐谷浑。
北周建德五年（576），在今贵德设廓州，辖洮河、达化2郡，2郡下辖洮河、广威等5县，今同仁县及其以北地区即为其中达化郡所辖；州境南部地区仍为吐谷浑地。
隋开皇三年（583），设达化县，黄南州北部归达化县辖，隶廓州。
大业五年（609），隋在吐谷浑故地设置郡县。
黄南州南部地区为河源郡赤水县辖区。
唐武德二年（619），沿隋仍置达化县。
贞观五年（631），设米川县，黄南州西北归达化县辖，隶廓州（后称宁塞郡，治今化隆县群科镇）；州东北部归米川县，隶米州。
贞观十年（636），米川县改隶河州（治今甘肃省临夏市），永徽六年（655），改隶廓州。
州南部仍为吐谷浑地。
龙朔三年（663），吐蕃攻灭吐谷浑国，州南部遂成为吐蕃国辖区。
广德元年（763），廓州也陷入吐蕃。
北宋初，黄南州地区为唃厮啰政权势力范围。
宋徽宗大观二年（1108），今黄南州北部为积石军地。
北宋亡后，积石军入金，隶临洮路。
金大定二十二年（1182），改积石军为积石州，黄南州地区隶属于金。
元代黄南州境均为吐蕃等处宣慰使司辖区，隶宣政院。
明洪武七年（1374），州南部为朵甘行都指挥使司辖区，北部为归德守御千户所地。
明末清初，州南部为卫拉特蒙古和硕特部首领顾实汗辖区，北部仍为归德千户所地，隶河州卫。
清雍正三年（1725），州南部为蒙古3旗驻牧地，隶钦差办理青海蒙古番子事务大臣衙门管辖。
州北部自雍正四年后分隶河州抚番同知和归德守御千总。
河州抚番同知于乾隆二十七年（1762），移驻循化，遂设循化厅，隶兰州府（道光三年改隶西宁府）。
乾隆五十六年(1791)，置贵德厅，仍隶西宁府。
民国初，黄南州北部为循化县和尖扎县辖地，均隶西宁道；南部为“河南蒙旗”地，隶青海办事长官（后依次改隶蒙番宣慰使、甘边宁海镇守使）。
1929年，青海建省，黄南州地区统归青海省辖。
1930年，由循化县析置同仁县，直隶青海省。
1949年9月，黄南州地区解放。
1952年，由贵德县析置尖扎区（同年7月，改为尖扎藏族自治区，次年6月，改为尖扎县）。
1953年8月8日，由同仁县析置泽库县。
同年12月22日，设黄南藏族自治区（专区级），驻隆务，辖同仁、尖扎、泽库3县。
1954年10月成立河南蒙古族自治区（县级），由青海省直辖。
1955年7月，将河南蒙古族自治区改为河南蒙古族自治县，同年11月，改黄南藏族自治区为黄南藏族自治州。
1959年3月22日，国务院批准，将河南蒙古族自治县交由黄南藏族自治州代管。
截至2024年底，黄南藏族自治州仍辖以上3县，代管河南蒙古族自治县。
2024年7月，原属同仁县撤县市后，辖1市3县。