在东汉初年，匈奴族利用中原混乱的时机，趁机扩大势力，控制了乌桓、鲜卑，乃至西域各族所居住的广大地区，并且南下烧扰东汉北边长达二十多年。
匈奴自呼韩邪单于以后，王位施行不不是十分严格的兄终弟及以及“诸子以次立”的继承制度。
由于在东汉初年匈奴内部接连发生旱灾、蝗灾，这个时候，赤地千里，草木尽枯，百姓和牲畜都得疫病，死伤大半。
统治集团内部也产生争权夺利的斗争，北匈奴立呼韩邪单于的一个孙子蒲奴为单于，曾经被南匈奴所击败，退居住漠北。
新立的蒲奴单于恐怕东汉王朝趁机出兵攻击，于是就派遣使臣到渔阳，请求与东汉朝廷和亲。
在建武二十四年，匈奴日逐王比派遣使五原塞请求内附，使臣拿着匈奴的地图，被汉朝所接受。
蒲奴单于派往监视比的两位古都侯察觉必有降汉的活动，于是报告了单于，并且建议诛杀比。
比得到了弟弟的密报，决定公开与蒲奴单于分裂。在建武二十四年春天，比率领南边的八部大人立比为单于，并且沿用祖父的称号也称为呼韩邪单于。
光武帝刘秀派遣中郎将段郴监护南匈奴，单于庭内迁到云中，后又迁到美稷。它的部署也随同内迁，势力日益强大。
从此以后，匈奴分裂成南北两部。
刘秀由于接受了南匈奴的归附，从而解除解除了匈奴对北部边境的烧扰，获得了发展生产的安定环境。
南匈奴入居塞内和南迁，接触了先进的中原农耕经济与文化，也有利于民族的发展。
留在蒙古草原上的北匈奴势力大大的削弱，在南北交战中，多次被南匈奴所击败，因此又多次派遣使臣请求与汉朝和亲。
但是刘秀认为，南匈奴刚刚归附，如果答应与北匈奴进行和亲，会妨碍汉朝与南匈奴的亲密关系，因此并没有同意。
在建武二十八年，北单于派遣使臣到京城贡献马匹，后来又远去牛马到边境与汉朝贸易，多有贡献。
对此东汉朝廷仍然采取羁縻的政策，颇加赏赐，但是不派遣使者。
在永平七年，东汉朝廷开始答应北匈奴的合市要求，并且派遣使臣回赐。这个举动果然引起了南匈奴部分上层的猜疑，妄图趁机叛乱。
在永平八年，北匈奴派遣骑兵进入朔方，接应南匈奴的部分叛乱的人，并进攻河西诸部。在永平十六年的时候，北匈奴再次侵扰云中以及渔阳。
北匈奴的存在始终是东汉朝廷的祸患，随着中原政局的稳定和社会经济的发展，东汉朝廷对北匈奴的政策开始由羁縻转向了军事进攻。
从永平十六年到永元二年，前后进行了长达17年的战争：
汉明帝永平十六年，汉朝的将军窦固、耿忠出酒泉，击败北匈奴呼衍王，追踪直至蒲类海，设置宜禾都尉，屯田伊吾，也就是今天新疆的哈密。
第二年，窦固、耿忠又联合起来攻击平车师前、后王，重新设置了西域都护，切断北匈奴与西域之间的联系。
汉和帝永元元年，汉朝的将领窦宪、耿秉等得到南匈奴的帮助，又大败北匈奴，逐北匈奴三千里，登上燕兰山，刻石记功而还。
永元二年、三年，汉朝军队又连续大破匈奴，斩首者甚众，单于逃走，汉军出塞五千里乃还。
此后北匈奴有的向汉朝投降，有的向南匈奴投降，还有一部分随着北单于逐步西迁。
从公元前209年，冒顿单于建立政权算起，一直到公元91年北匈奴远迁，整整300年，匈奴在中国北边界与中原王朝的威胁最终解除。
