追根溯源，青山区在中华人民共和国成立之前，没有整体单独设置过县（旗、区）及以上行政建置。从考察有关史迹、史料得知，在中国历史上，历朝历代，这里一直是中华民族生存发展之地，是汉族和北方游牧民族或交替占据，或友好来往，相互交融，并肩携手发展之地。

明朝中期至清朝初期是蒙古族土默特部落建立的大明金国居地。清朝时期，由蒙古族乌拉特部落占据。清末民初，从山西、陕西、河北等地陆续迁徙来大量从事农业和手工业生产的移民，他们垦田建屋，逐渐形成公忽洞、狗拦圪钵、镰片窑子等村落。

中华人民共和国成立后，自治区于1954年废除旗县并存、蒙汉分治制度。今青山区境蒙古族也划属包头市管辖。

1953年，内蒙古一、二机厂在区境选址、定点。

1954年，全区陆续开始大规模建设。

1955年，中共包头市委、包头市人民政府（以下简称市委、市政府）根据工业建设需要组建新市区（包括今青山区、昆都仑区）工作组，成立新市区办事处。

1956年8月，包头市人民委员会决定撤销新市区办事处，分别成立以内蒙古一机厂、二机厂厂区和住宅区为主的青山区和以包钢厂区和住宅区为主的昆都仑区。在其未完成选举以前，先成立包头市人民委员会青山区办事处、包头市人民委员会昆都仑区办事处。同年8月18日，新市区办事处正式结束，青山区办事处正式成立，办公处设在公忽洞村。11月，召开青山区人民代表大会，选举产生青山区领导班子，正式成立县级青山区人民委员会（后相继改称青山区革命委员会、人民政府），隶属于包头市。办公处设于文化路与呼得木林大街交汇处西北角。

2005年1月，青山区人民政府办公处迁至建设路189号。

至2010年12月，其隶属关系未发生变化。