夏代，今青山区境为荤育游牧地。商代，为鬼方游牧地。西周时，先后为鬼方、猃狁游牧地。春秋至战国前期，相继为林胡、楼烦游牧地。

赵武灵王二十年（公元前306年），赵国出兵北击林胡、楼烦，拓展边疆，攘地北至燕、代，西至云中（今托克托县古城村）、九原（今九原区麻池古城）。今青山区境为九原北境。

秦始皇三十二年（公元前215年），派蒙恬攻击匈奴，控制阴山以南地区。改九原建置为九原郡，郡治九原县（今麻池古城），今青山区境属之。

秦末，诸侯背叛，戍边人逃离，九原一带空虚，匈奴乘势南下，占据九原等地。

西汉元朔二年（公元前127年），汉朝派卫青、李息率军将匈奴驱逐到阴山以北，改秦九原郡为五原郡，郡治九原县（今九原区麻池古城）。今青山区境属之。

新莽始建国元年（公元9年），王莽篡权执政，将五原郡更名为获降郡。今青山区境属之。