早在原始社会时期，二连浩特境内就有古游猎部落。
春秋战国时期，为林胡地，亦称东胡地。
秦汉时期，匈奴迁徙在此。
东汉时期，为乌恒、鲜卑入居。
隋唐时期，由突厥徙牧。
辽朝时期，为漠葛失部地。
金朝时期，为汪古部族地。
元朝时期，属上都苏尼特鄂托克地，设玉龙栈。
据《元史·宪宗纪》载，蒙哥汗在此会见忽必烈，设大宴并共商国事军情。
明英宗十四年（1449年），归北元左翼三万户，称苏尼特鄂托克。
清嘉庆二十五年（1820年），设置“伊林”驿站。
清光绪十五年（1899年），清政府架通张家口至库伦（今蒙古国乌兰巴托）的电话线，又设电报局，并将该地标入当时的地图集，名曰“二连”。
民国七年（1918年），张家口旅蒙商景学钤等人创办“大成张库汽车公司”，开通了张家口至库伦（今蒙古国乌兰巴托）汽车运输线，二连盐池成为这条运输线上的重要站点之一，站名“滂北”。
1953年，集二铁路正式动工修建，在铁路选线时，为避开盐池低洼地形，从传统交通线西移9千米，又在传统边境线南6.5千米处建国境火车站，站名始称“额仁”，因发音不便，更作“二连”。
1956年1月，中、朝、越、苏、蒙及东欧各社会主义国家参加的铁路联运正式开通，以车站为中心的建筑群便成为今二连的雏形。
1956年3月7日，设二连镇，隶属锡林郭勒盟苏尼特右旗。
1957年7月14日，升格为县级建制，于“二连”后加缀“浩特”（蒙语意为城市）一词，隶属锡林郭勒盟。
1966年1月，经国务院批准设立县级二连浩特市。
1969年11月，划归乌兰察布盟。
1980年5月，重新划回锡林郭勒盟。
1985年1月，内蒙古自治区人民政府批准二连浩特市升格为准地级市。
1985年6月，国务院批准二连浩特市为甲类开放城市。
1986年3月，内蒙古自治区政府批准二连浩特市为计划单列市。
1992年7月，二连浩特市被国务院列为13个沿边开放城市之一。
2024年6月5日，二连浩特市经国务院批准成为“全国第二批重点开发开放试验区”。