玉泉区境地处“要荒”，远离京畿一千数百里，古为“并州徼外”地，獯鬻所居。
战国，隶属赵云中郡。
秦，因之。
汉，建置名存实亡，由北魏统领。
南北朝，为敕勒族属地。
隋代，属白道川。
唐，入云中都护府（后称单于大都护府）。
宋代，为辽国领地，属西京道丰州。
北宋末，为金西京路丰州富民县所辖。
元代，仍隶属丰州。
明正德、嘉靖年间，阿勒坦汗率土默特部驻牧“丰州滩”，始有“土默川”之称。
清代，呼和浩特地区设有三套行政机构。
一为土默特左、右翼特别旗，建于清入关前的天聪年间（两旗都统府均驻玉泉区境内）。
一为归化城厅，雍正元年（1723年）设，隶属于山西朔平府；乾隆六年（1741年），置归绥道（属山西），厅改隶道辖。
一为绥远城将军，始于乾隆四年（1739年）；管理满洲驻军和满民事务，并节制上述的“旗”和“道”。
区境由“旗”、“厅”共管，以民族分治；蒙民属“旗”，汉民属“厅”。
民国元年（1912年），改归化城厅为归化县；民国二年，绥远城并入，改称归绥县。
区境内仍蒙汉分治，旗县并存。
民国三年（1914年），设绥远特别区，脱离山西省。
1937年10月，日本军入侵，玉泉区境由“蒙古联盟自治政府”之巴彦塔拉盟的归绥县管辖。
后设厚和豪特市，1938年8月1日，改建成厚和特别市，继改为厚和浩特市，区境始为市辖。
1945年，日军投降后，建归绥市，今玉泉区属之。
境内有市的第二区、第三区和第一、第四两区之部分。
土默特特别旗仍存，境内因袭蒙汉分治。
1951年6月，调整区划，玉泉区境内有第三区大部和第二区之部分。
1954年4月，更市名为呼和浩特市。
6月，第三区改称玉泉区，第二区易名庆凯区。
1956年，撤庆凯区，其大部分划入玉泉区。
1966年，更名为向阳区。
1979年，复称玉泉区。