东汉建武十六年（40年），今巴彦淖尔市阴山以南地区仍分属五原郡（治九原，在今包头市西）和朔方郡（治所移驻临戎，今磴口县北；亦有记载治所三封，今磴口县哈腾套海苏木）。朔方、五原二郡在今市境内所领之县，除临河、窳浑、河目三县已取消外，其他各县与西汉时相同。二郡改隶于并州。

东汉建武二十四年（48年），南匈奴驻牧于阴山南麓河套一带，右贤王庭驻朔方（今黄河南岸杭锦旗）。东汉永寿二年至光和元年（156—178）时，今巴彦淖尔市乌加河以北和磴口县大部地区属鲜卑政权统辖。

三国魏景元三年至西晋太康二年（262—281）时，今巴彦淖尔市乌加河以南后套地属羌族政权统辖；今乌拉特前、中、后三旗属拓跋鲜卑政权统辖；今乌拉特后旗西部和磴口县地区，属西部鲜卑（河西鲜卑）政权统辖。