从考察有关史迹、史料得知，青山区境内一直是中华民族生存发展之地，是汉族和北方游牧民族交融之地。
明朝中期至清朝初期，境内是蒙古族土默特部落建立的大明金国居地。
清朝时期，由蒙古族乌拉特部落占据。
清末民初，从山西、陕西、河北等地陆续迁徙来大量从事农业和手工业生产的移民，他们垦田建屋，逐渐形成公忽洞、狗拦圪钵、镰片窑子等村落。
中华人民共和国成立后，内蒙古自治区于1954年废除旗县并存、蒙汉分治制度。
今青山区境蒙古族也划属包头市管辖。
1953年，内蒙古一、二机厂在区境选址、定点。
1954年，全区陆续开始大规模建设。
1955年，包头市委、市政府根据工业建设需要组建新市区（包括今青山区、昆都仑区）工作组，成立新市区办事处。
1956年8月，包头市人民委员会决定撤销新市区办事处，分别成立以内蒙古一机厂、二机厂厂区和住宅区为主的青山区和以包钢厂区和住宅区为主的昆都仑区。
在其未完成选举以前，先成立包头市人民委员会青山区办事处、包头市人民委员会昆都仑区办事处。
1956年8月18日，新市区办事处正式结束，青山区办事处正式成立。
1956年11月，召开青山区人民代表大会，选举产生青山区领导班子，正式成立县级青山区人民委员会（后相继改称青山区革命委员会、人民政府），隶属于包头市。
2005年1月，青山区党政大楼迁至建设路189号。
其后，其隶属关系未发生变化。