汉袭秦制，汉高祖刘邦也把漠南地区视为要地，不断地在此扩大自己的势力范围，建立自己的地方政权。西汉时期，汉朝在今内蒙古部分地区设立了地方政权，实行郡县制，从西至东置有张掖、朔方、五原、定襄、上郡、西河、代郡、上谷、右北平和辽西等郡。除郡县外，汉朝又在此设置了5个属国，以安置附汉的匈奴人。

据史志载：为争夺漠南地区，汉朝和匈奴发生了多次军事冲突。在汉高祖刘邦六年（公元前201年），汉将夏侯婴率兵攻打代郡，至武泉、云中。是年，刘邦以太原郡、雁门郡31县作为韩王封地。汉文帝刘恒十四年（公元前166年），匈奴14万骑兵攻河南（黄河南），杀死汉朝北地都尉，俘掠众多百姓与大批牲畜。汉文帝刘恒后元六年（公元前158年）冬，匈奴3万骑入上郡，3万骑入云中，杀掠吏民甚众而去。汉王朝也不示弱，采取针锋相对的方针。公元前156年，汉景帝刘启即位，调遣李广为陇西（今甘肃北部）、北地、雁门、云中太守。汉武帝刘彻元朔二年（公元前127年），汉朝派车骑将军卫青、李息出云中至高厥，收河南地，置朔方郡（今杭锦旗北），并改秦朝所置九原郡为五原郡。调集10万人修筑朔方郡、五原郡卫所。汉武帝刘彻元狩二年（公元前121年），匈奴浑邪王率其众4万余人降汉，汉置其众于云中、朔方等地，设五属国，其中上郡属国、西河属国、五原属国在今内蒙古境内。

汉武帝刘彻元封五年（公元前106年），刘彻在秦王朝郡县制的基础上，将全国划分为13个监察区，因其长官名称刺史，又称十三刺史部、十三州。在凉、朔方、并、幽等刺史部的管辖下，从西至东，设张掖郡（郡治在今甘肃省张掖市北、辖境包括今阿拉善盟额济纳旗达拉呼布镇东南一带）、朔方郡（郡治在今乌拉特前旗三顶账房古城，主要辖有今乌梁素海地区、包头市及鄂尔多斯东北部地区）、云中郡（郡治在今托克托县古城村古城，主要辖有今呼和浩特平原及托克托县等地区）、定襄郡（郡治所在今和林格尔县土城子古城，辖今呼和浩特市东南郊，卓资县西南部、和林格尔和清水河部分地区）、上郡（郡治在今陕西省榆林县东南，辖今乌审旗和鄂托克旗东部地区）、西河郡（郡治在今杭锦旗霍洛柴登古城，辖今杭锦旗东部、伊金霍洛旗、东胜市和准格尔旗等地区）、雁门郡（郡治在今山西省左云、右玉二县南，辖境包括今乌兰察布岱海以南地区）、代郡（郡治在今河北省蔚县西南，辖境包括今丰镇市、兴和县等地区）、上谷郡（郡治在今河北省怀来县东南、辖境包括今锡林郭勒盟南部地区）、右北平郡（郡治在今宁城县黑城村古城，辖今赤峰市英金河以南地区）、辽西郡（郡治在今辽宁省锦州市西，辖境包括今敖汉旗南部和奈曼旗南部地区）。汉武帝在公元前104年（汉武帝刘彻太初元年），在今乌拉特中旗呼热苏木所在地置塞外受降城。汉王朝又于汉宣帝刘询五凤三年（公元前55年），设置西河属国都尉（治美稷，在今准格尔旗纳林镇古城）及北地属国都尉（治所在今宁夏境内），以安置匈奴的归附者。

东汉光武帝刘秀称帝后，同样十分关注漠南这块沃土，并不断加强自己的势力范围。公元25年，刘秀建立东汉王朝。东汉继承西汉郡县制，仍分全国为十三刺史部，但刺史的地位、职能、权力已不同于西汉。东汉十三州长官有其固定治所，掌握升降地方官吏的大权，逐步成为地方行政长官。东汉变西汉郡县二级制为州、郡、县三级制。东汉并州、凉州和幽州等所属郡县，辖今内蒙古中西部地区的有：张掖居延属国（治居延，在今额济纳旗东南，辖境相当于今额济纳河流域），属凉州；五原郡（治九原，在今包头市及鄂尔多斯东北部地区），属并州；朔方郡（治三封，在今磴口县北，辖今巴彦淖尔西南地区与鄂尔多斯西北部地区），属并州；云中郡（治云中，在今托克托县古城村，辖今呼和浩特南部平原），属并州；定襄郡（治善无，今山西省左云、右玉二县南，辖境包括今清水河、和林格尔县南部地区），属并州；西河郡（治平定，今东胜市，辖今伊金霍洛旗、准格尔旗等地区），属并州；上郡（治肤施，今陕西省榆林县东南，辖境包括今乌审旗和鄂托克前旗东部等地区），属并州；雁门郡（治阴馆，今山西省旧代县西北，辖境包括今凉城县大部分地区），属并州；代郡（治高柳，今山西省阳高县西南，辖境包括今兴和县南部地区），属幽州。

匈奴是公元前3世纪崛起于蒙古高原的游牧部族，由于草原生态环境下特有的游牧生活赋予了这些马背民族能征善战的特质。至冒顿单于时，匈奴东败东胡，西击月氏，南并楼烦，北服丁零、鬲昆等族，势力范围东尽辽河，西至西域，南达黄河中游，北抵贝加尔湖，汉朝初年建立了欧亚草原上第一个游牧帝国。秦朝建立之初，匈奴保持着战国时期的活动范围，今天内蒙古的大部分地区都在匈奴的控制之下。秦亡之际，中原地区战乱频繁，匈奴得以发展，并且向四方扩张领土。

在匈奴政权机构中，单于为国家最高首领。单于总揽国家一切军政大权。单于之下设左右贤王、左右大将军、左右大都尉、左右大当户和左、中、右三部制，单于庭直辖匈奴中部。单于之下的左、右贤王是地方最高长官，有世袭领地。左右贤王辖区内有左右蠡王、左右大将、左右大当户和左右骨部侯等二十四万户。二十四万户之下，各设千长、百长、什长、裨小王、相、都尉、当户、且渠等官，层层相节制。平时率众驻牧生产，骑马训练，管理民政；战时则统兵出战，亦兵亦牧，兵民一体、军政合一。

匈奴把统治地区分为东、中、西三部分，实行左右翼区划制，东边从上谷郡以北，东至辽河流域，包括今内蒙古锡林郭勒草原、西拉木伦河、老哈河流域，科尔沁草原和呼伦贝尔草原的大部分为左部，是左贤王等左方将军的游牧区，左贤王庭在汉朝的上谷郡正北，约在今锡林郭勒盟中部一带。西边从上郡以北，西至葱岭，包括今内蒙古鄂尔多斯高原、黄河以北地区，巴丹吉林沙漠和额济纳河流域，为右部，是右贤王等右方将军的游牧区，右贤王庭在汉朝的上郡正北，约在今鄂尔多斯及巴彦淖尔南部一带。公元48年（光武帝刘秀建武二十四年）春季，匈奴八部议定立日逐王比为呼韩邪单于，以五原塞为单于驻地，表示愿意作为东汉北部的守备兵，以抵御北匈奴。冬十月，比立为南单于，遣使至汉称臣，于是分裂为南北匈奴。

在汉代，除匈奴外，乌桓族也在漠南这块地方生息，并建有自己的临时性政权。据史志载：在公元49年（光武帝刘秀建武二十五年），乌桓81人接受东汉封号，率领部众移居到辽西、右北平、渔阳、上谷、雁门、代郡、朔方等10郡之内。此外，在云中郡、西河郡、上郡等地区也有乌桓人活动；而留在塞外赤山的乌桓仍活动在长城以北今赤峰地区。

东汉时，在漠南地区生息的拓跋鲜卑逐渐强盛起来，并建有临时性的民族政权机构。据史志载：光武帝刘秀建武三十年（公元54年），鲜卑内附，汉廷令其居乌桓故地。鲜卑大人入朝，接受汉帝封赏。和帝刘肇永元三年（公元91年），鲜卑人入据漠北，北匈奴残部10余万合并于鲜卑部落联盟。章帝刘炟章和元年（公元87年），鲜卑攻入匈奴左翼地区将北匈奴打败，北匈奴大乱。屈兰、储卑、胡郡须等58部归附东汉，并在云中、五原等郡驻牧。安帝刘祜永初元年至七年（公元107年～113年）间，居住在今内蒙古北部的鲜卑族大人燕荔阳亲自赴汉都洛阳（今河南省洛阳市）朝贺，东汉赐鲜卑王印绶，并允许鲜卑在上谷郡的宁城（在今河北省宣化市西北）通市，与东汉贸易，致使鲜卑族不断强大，不断扩张势力。

在公元147～167年间（桓帝刘志建和元年至永康元年），东部鲜卑的慕容部出现了一位著名首领檀石槐（156～181年在位）。他在弹汗山（今河北省尚义县南大青山）建立庭帐，兵强马壮，各部都归附于他。史称檀石槐率部“二抄缘边，北拒丁零，东却夫余，西击乌孙，尽据匈奴故地，东西14000余里，南北7000余里，网罗山川水泽盐池”，建立起一个鲜卑族大联盟。檀石槐把他控制的地区划分为三部分。自辽东至右北平（今赤峰市南）为东部；右北平以西至上谷（今内蒙古多伦县南）为中部；自上谷以西至敦煌为西部。檀石槐建立的这个鲜卑军事大联盟虽然军事力量很强，但其政治组织并不巩固。公元178～182年（灵帝刘宏光和元年至五年）间，鲜卑政权瓦解，漠南地区自云中郡以东，分为3个地域集团：檀石槐后裔步度根拥众数万户，占有今呼和浩特平原及乌兰察布丘陵地区；轲比能拥众10万余骑，占有今锡林郭勒草原；素利、弥加等鲜卑首领占有今西拉木伦河、老哈河流域及科尔沁草原。而居住在漠南西部地区的鲜卑人则在今鄂尔多斯和阴山南北活动，各部鲜卑各有分界，直至东汉灭亡。