汉代为乌贪訾离国地。
隋时属西突厥。
唐归北庭都护府管辖。
宋属高昌回鹘。
元属别失八里行尚书省。
明代为卫拉特蒙古诸部的游牧地。
1778年置绥来县，沙湾在绥来县西境。
1915年析绥来县设沙湾县，属迪化道，县治小拐（今克拉乌依市小拐乡）。
1917年改隶塔城道。
1929年县治迁沙湾庄（今老沙湾镇驻地），隶塔城行政区。
1950年属塔城专区，全县设3区（沙湾区、三道河子区、石河子区），24乡。
1954年划分为4个区，1956年新建第五区。
1956年沙湾县人民政府迁至今三道河子镇。
1958年成立东风、红旗、星火、先锋、胜旗、新先6个人民公社，有47个大队，231个生产队，同时成立天山牧场、火箭牧场。
1961年由星火公社分设乌拉乌苏公社，1962年从红旗公社分设安集海公社，1964年由东风公社析设四道河子公社和柳毛湾公社。
1965年成立沙湾镇，1970年更名为三道河子镇，1975年由红旗公社析设大泉公社，1979年柳毛湾公社分设商户地公社。
至1983年底全县下设1个镇、11个人民公社、1个林场、2个牧场，共59个大队，228个生产队，4个居民委员会。
1975～1977年沙湾县划归石河子地区。
1978年后仍隶属塔城地区。
1985年县辖1镇，13乡，3场。
2000年县辖9镇，3乡，3场。
2024年1月，撤县设市。