汉初为西迁大月氏控制；汉元光五年（前130年）为乌孙牧地，属匈奴；汉神爵二年（前60年），归西域都护府管辖；明代属瓦剌蒙古土尔扈特部牧地；明崇祯元年（1628）属准噶尔部牧地；清乾隆二十年(1755)，平定准噶尔部，今市境内附；乾隆二十七年（1762），库尔喀喇乌苏设办事大臣，今市境南部独山子等地归其统领；乾隆二十九年（1764），清政府设塔尔巴哈台参赞大臣，今市境西北部一带由其统领；乾隆四十三年（1778），清政府在玛纳斯河流域设绥来县，属迪化州直隶，辖区包括今市境的百口泉、夏子街、大拐、中拐、小拐等地；光绪十二年（1886年），塔尔巴哈台直隶厅成立，辖区包括今市境北部地区，市境东部大拐、中拐、小拐一带仍属绥来（玛纳斯）辖区，归迪化府管辖；1913年塔尔巴哈台、库尔喀喇乌苏直隶厅改置为县，分辖市境南北二部；1916年裁塔尔巴哈台参赞大臣，设塔城道，下辖塔城、乌苏、沙湾县，今克拉玛依市境一带统归其辖。
其后市境先后隶于第五行政区、塔城专区；新中国成立前，分属沙湾县、乌苏县、克烈半个县（今托里县）、和丰县（今和布克赛尔蒙古自治县）。
1955年，成立独山子矿区行政委员会。
1956年成立县级独山子镇。
1958年设立县级克拉玛依市。
1982年升格为地级市。
1984年改为自治区直辖县级市。
1990年恢复地级市。
近年来，依托“智慧城市”建设，实现产业升级，“戈壁油城”变身智慧城市。