阿克苏市境即西汉时期姑墨国所在地。
隋唐时期，阿克苏市境为跋禄迦，亦称亟墨。
五代十国时期，后梁太祖开平元年至后周恭帝显德七年(907-960)，本境属葛逻禄部(亦称割鹿国)。
真宗咸平四年(1001)，本境为喀喇汗王朝一部分。
元代，阿克苏市境为察合台后王封地，称为阿速。
乾隆二十二年（1757），清政府派军平定准噶尔叛乱，将地名定为“阿克苏”。
清乾隆二十四年（1759）在此设阿克苏办事大臣，光绪十年（1884）九月在新疆建省后设阿克苏道（驻今温宿县）。
1913年，温宿府本府改制阿克苏县。
1983年8月，经国务院批准，撤销阿克苏县设立阿克苏市（县级）。