周代西羌人就在德令哈一带游牧。
4世纪初吐谷浑进入海西立国建都，德令哈为吐谷浑辖地。
唐初吐蕃王朝势力伸展到黄河河曲和青海湖畔，灭吐谷浑国，德令哈地区归吐蕃王朝辖。
宋代前后五六百年内该地为藏族游牧部落驻地，吐蕃地方政权存在了比较长的一段时期。
13世纪蒙古族兴盛后，势力很快进入海西地区。
清初，东蒙古亦不刺、阿尔秃斯等部先后来此驻牧。
清皇太极崇德二年（1637），西蒙古顾始汗率和硕特和准噶尔巴图台吉的联军进入柴达木盆地。
清雍正初年在平定了罗卜藏丹津叛乱之后，将海西蒙古族分为八旗，德令哈地区为和硕特北右末旗驻牧地，此状况一直维持到十九世纪四十年代。
到1949年解放前，该地为青海蒙古左翼盟长索南木帮吉力王公的驻牧地（俗称柯鲁沟贝子旗和柯鲁沟扎萨克旗）。
1917年，在海西地区为都兰县地。
1939年，民国政府在柯鲁沟建立西乐设治局，后于1945年改为德令哈垦务局。
1949年10月都兰县解放后，德令哈地区被划分为都兰县三区。
1958年，德令哈工作委员会改为德令哈县。
1962年11月，撤销德令哈县，并入乌兰县。
1973年，设立德令哈城关区，归海西自治州直接领导。
1983年10月，改设德令哈镇，属海西州直辖。
1988年4月，改设德令哈市（县级），沿用至今。