西汉、东汉，为西域都护府下辖乌孙东境。
其间，汉神爵二年（前60年）乌苏地区随西域并入祖国版图。
三国、西晋、东晋、十六国（220-420），乌孙东境。
南北朝（420-589年）、魏（420-556年）时为悦般属地，北魏孝文帝太和十一年（487年）高车据有此地。
孝明帝熙平元年（516年）此地属嚈哒。
北周（557-581年）时属突厥。
隋太祖文帝仁寿三年（603年），乌苏属铁勒部；后归西突厥统治。
唐贞观十五年（641年）为处木昆部。
显庆二年（657年），隶属北庭大都护府下的延都督府。
垂拱元年（685年）属昆陵都护府。
开元年间（713-741年）唐政府又在此设黑水守捉（今乌苏镇境内）、叶河守捉（今奎屯市境内）、东林守捉（今四棵树附近）和西林守捉（今古尔图附近）。
代宗大历年（766-779年）后，乌苏为葛逻禄部领地。
咸通七年（866年），乌苏为北庭（高昌）回鹘属地。
宋绍兴二年（1132年），乌苏入西辽，为北路要地。
元属别失八里行尚书省。
明至清初成为卫拉特蒙古诸部落游牧地，称此地为库尔喀喇乌苏。
清乾隆二十七年（1762年），设库尔喀喇乌苏办事大臣。
乾隆三十六年（1771年）土尔扈特部东归，东路二旗被安置在库尔喀拉乌苏西南。
乾隆三十七年（1772年），库尔喀喇乌苏改设领队大臣，隶属乌鲁木齐都统管辖。
乾隆四十六年（1781年)改领队大臣为同知；乾隆四十八年（1783年）撤同知改设粮员，隶乌鲁木齐都统；同年筑庆绥城官衙由西湖迁此。
光绪十二年（1886年），复置库尔喀喇乌苏直隶厅，设抚民同知加理事衔，隶于镇迪道。
光绪十三年（1887年）九月起，二旗的行政权大部分被直隶厅同知所接管。
至民国时期，行政权名存实亡。
中华人民共和国建立后，蒙古盟旗的权力被彻底废除。
1913年，撤库尔喀喇乌苏直隶厅，设乌苏县，隶属迪化道。
1917年，划归塔城道（后改为塔城行政区）。
1943年以前，乌苏定为二等县。
1944年1月，定为一等县。
1950年4月28日，乌苏县政府奉命改为乌苏县人民政府。
1954年11月乌苏县隶于伊犁哈萨克自治州塔城专区。
1996年9月6日撤县设乌苏市。