西汉初期，西域三十六国就有婼羌、鄯善、且末、小宛、山国、仓头、渠犁、焉耆、危须、乌垒、楼兰等国地。
西汉太初四年(前101)，汉朝在西域设“使者校尉”，在今库尔勒、轮台一带屯田。
神爵三年(前59)，西汉政府在乌垒(今轮台县境)设西域都护府，治理西域全境。
魏晋时设西域长史于楼兰以统之。
北魏在北部设焉耆镇，南部设西戎校尉府于鄯善镇（今若羌附近），隋在南部设鄯善郡和且末郡。
唐贞观二十二年(648)置焉耆都督府，南部属沙州。
北宋分属西州回鹘及于阗。
南宋归西辽。
元属别失八里行尚书省。
明正德九年（1514），赛德汗建立叶尔羌汗国，州境受其统治。
清乾隆二十四年(1759)，置喀喇沙尔办事大臣。
“丝绸之路”南道的卡墙(今且末县)、卡克里克(今若羌县)隶属于阗办事大臣管辖。
乾隆三十六年(1771)，蒙古土尔扈特及和硕特部回归祖国，安置土尔扈特南路四旗、和硕特中路三旗游牧于珠勒都斯等地，由喀喇沙尔办事大臣兼辖，伊犁将军节制。
光绪八年(1882)设喀喇沙尔直隶厅，光绪二十四年(1898)升为焉耆府，先后管辖新平（今尉犁）、若羌、轮台三县隶阿克苏道。
1920年，另设焉耆道。
1928年，改置焉耆行政区，行政长驻焉耆。
1943年改为焉耆督察专区。
1950年4月12日，成立焉耆专员公署，辖焉耆、轮台、和靖、库尔勒、和硕、尉犁、婼羌、且末8县，专署驻焉耆县。
1954年6月23日，撤销焉者专署，成立巴音郭楞蒙古自治州(辖焉耆、和靖、和硕3县)和库尔勒专署(辖库尔勒、轮台、尉犁、婼羌、且末5县)。
1960年12月，库尔勒专署并入巴音郭楞蒙古自治州，州政府由焉耆迁址库尔勒。
1970年4月，设置博湖县。
1979年10月，成立库尔勒市。
1984年4月，将库尔勒县并入库尔勒市。
巴音郭楞蒙古自治州辖库尔勒市、轮台县、尉犁县、若羌县、且末县、焉耆回族自治县、和静县、和硕县、博湖县八县一市。