西汉历史上和西汉版图内被称为“渠犁”，为西域三十六国之一。
神爵三年（前59），汉朝在乌垒（今轮台策大雅）设西域都护府。
唐贞观十四年（640），设安西都护府于高昌（后迁龟兹），下辖天山以南焉耆、龟兹、毗沙、疏勒等都督府，库尔勒归焉耆都督府管辖。
12至13世纪，库尔勒地区属西辽。
元建立别失八里行尚书省。
库尔勒隶于别失八里。
1758年，清朝先后平定准噶尔与大小和卓，在库尔勒实行伯克制，设阿夺木伯克1人，级别三品，属喀喇沙尔办事大臣管辖。
1884年，新疆建省后，焉耆设喀喇沙尔直隶抚民厅，后改为焉耆府，辖轮台、新平、若羌3县，包括库尔勒、和硕、和静等地。
库尔勒属焉耆府，幅员七十余里，人口四千余户，地理位置之重要于焉耆相等而商务繁盛。
1920年新增添焉耆、和阗两道，库尔勒隶属焉耆道管辖。
1930年10月，设置库尔勒设治局，区划仍隶属焉耆行政区。
1939年4月，正式将库尔勒设治局改为库尔勒县，属焉耆行政区辖。
1943年，设焉耆行政督察专员公署，库尔勒县归其管辖。
1950年4月13日，成立焉耆专员公署，6月成立库尔勒县人民政府。
1954年6月，撤销焉耆专员公署，分设巴音郭楞蒙古自治州和库尔勒专署，库尔勒县归库尔勒专署管辖。
1960年12月2日，库尔勒专署并入巴音郭楞蒙古自治州，库尔勒县归巴州管辖，为自治州首府。
1979年10月，由库尔勒县分设库尔勒市。
1984年4月，撤销库尔勒县建制，并入库尔勒市。