远在五六千年以前霍林河流域就有人类生息，境域内已发现数十处属旧石器时代和新石器时代人的居住遗址。
春秋战国时期，属东胡人游牧地。
两汉时期，为鲜卑人牧地。
三国时期，是东部鲜卑游牧地。
东晋时期，是契丹人辖地。
南北朝时期，为地豆于人居住地。
隋朝时期，为霫人辖地。
唐朝初期，仍为霫人辖地。
唐末，契丹人耶律阿保机统一契丹各部。
辽朝时期，属上京道临潢府辖地。
金朝时期，为临潢府统辖地。
金末，蒙古人兴盛，金朝为防御蒙古人南下，修筑总长近万里的金界壕。
元朝时期，属中书省全宁路管辖。
明朝时期，属努尔干都司泰宁卫辖地。
清朝时期，属哲里木盟科尔沁左翼中旗辖地。
民国初期，仍属哲里木盟科尔沁左翼中旗辖地。
民国二十一年（1932年）5月，伪满洲于设兴安总省，下辖东西南北四个分省，市境属兴安南省管辖。
民国三十三年（1944年）8月，划归科尔沁右翼中旗管辖。
民国三十八年（1949年）8月29日，今市境划归扎鲁特旗，为扎鲁特旗北部三个努图克（乡）的游牧夏营地。
1969年3月，中国人民解放军北京军区内蒙古生产建设兵团第六师五十一团四连开进霍林河（五七镇）。
同年7月，划归吉林省。
1970年1月，正式组建内蒙古生产建设兵团第六师五十七团。
1979年7月，复归内蒙古自治区。
1981年10月，为支援霍林河煤田建设，哲里木盟设立霍林河办事处，行使旗县级政府职能，并筹备建市。
1982年2月，霍林河办事处正式挂牌办公。
1985年11月9日，国务院批准成立霍林郭勒市（旗县级），隶属哲里木盟。
1999年1月13日，国务院撤销哲里木盟建制，成立通辽市（地级），霍林郭勒市由通辽市代管。