秦汉以前属羌人牧地。
东汉景帝建发十九年（214），归附汉朝。
东汉景帝建发十九年（214）归附汉朝。
西晋时为吐谷浑辖地。
北周建德五年（576），地属北周廓州总管府辖。
隋朝前期属吐谷浑辖，后期属西海郡赤水县。
唐高宗始为吐蕃管辖。
唐天宝十二年（753），属唐洮阳郡。
五代十国时期为吐蕃、吐谷浑、党项、羌等势力各霸一方，无以统属。
北宋时属中原王朝。
南宋时属金国。
元代为吐蕃等处宣慰司辖地，属河州必里万户符。
明代为朵甘行都指挥使司辖地，万历后属河州必里千户符。
清代属循化厅，为和硕特前首旗（俗称河南亲王）牧地。
民国初由“青海办事长官”及“蒙蕃宣慰使”管辖。
1935年，和硕特南左中旗划同德县，其余“河南三旗”由河南亲王统领，隶省直辖。
1954年10月，设河南蒙古自治区（县级）。
1955年6月，改称河南蒙族自治县，由省直辖。
1959年，由黄南自治州代管。
1964年，更名为河南蒙古族自治县。