新石器时代中、晚期，今锡林河水库西侧发现有人类活动遗址。
先后出土砍砸器、刮削器及石核、石片等石器，证明距今4000—6000年以前已有人类在锡林浩特境内繁衍生息，从事游猎养畜和原始手工业生产。
汉朝时期，为上谷郡北境。
晋朝时期，为拓跋氏地。
隋唐时期，为突厥所据。
辽朝时期，为上京道西境。
金朝时期，为北京路西北境。
元朝时期，属上都路。
明朝时期，入于蒙古。
清朝时期，为蒙古阿巴哈纳尔部驻地。
清康熙六年（1667年），诏授札萨克多罗贝勒世袭罔替，遣官指示阿巴嘎部移牧他所，以旧牧地给阿巴哈纳尔。
栋伊思喇布掌左翼，佐领九，驻乌勒陀罗海（《大清会典》作阿尔噶灵图山）。
色棱墨尔根掌右翼，佐领七，驻昌山（又名永安山）。
阿巴哈纳尔左翼设旗，自清康熙六年（1667年）至民国三十五年（1946年），12代札萨克共执政280年。
阿巴哈纳尔左翼旗庙由贝子爵管辖，故锡林浩特地区得名贝子庙。
民国二十二年（1933年），锡林郭勒盟建立伪蒙疆联合自治政府。
贝子庙被伪蒙疆联合自治政府控制。
民国二十七年（1938年），驻贝子庙的日本军队组织伪锡林郭勒盟政府、伪旗政府。
民国三十五年（1946年），内蒙古自治运动联合会转移到贝子庙，锡林郭勒盟分会和政府组织工作队在阿巴哈纳尔左旗改造旧政权，建立了人民民主政权，阿巴哈纳尔左旗支会隶属锡林郭勒盟分会。
民国三十六年（1947年），在贝子庙成立了中共锡（锡林郭勒）、察（察哈尔）、巴（巴彦塔拉）、乌（乌兰察布）工委。
民国三十七年（1948年），阿巴哈纳尔左旗归中部中心旗工委。
1949年，阿巴哈纳尔左翼旗划归锡林郭勒盟中部联合旗；阿巴哈纳尔右翼旗划归锡林郭勒盟西部联合旗。
1952年5月26日，经内蒙古自治区人民政府批准，中部和西部联合旗合并，统称锡林郭勒盟西部联合旗。
1953年9月15日，经锡林郭勒盟人民政府批准，贝子庙改称锡林浩特（乡科级），统称西部联合旗锡林浩特人民政府。
1956年7月3日，经国务院批准，将西部联合旗改称阿巴嘎旗。
同年8月21日，锡林浩特受锡林郭勒盟直接领导，乡科级建制不变。
1959年4月15日，锡林浩特升格为旗（县）级浩特，盟直接管辖。
1963年10月23日，经国务院批准，锡林浩特改设为阿巴哈纳尔旗。
1979年12月14日，阿巴哈纳尔旗的“哈”字改为“嘎”字。
1983年10月10日，经国务院批准，撤销阿巴嘎纳尔旗，改设锡林浩特市（县级市）。