公元一世纪四十年代中期，匈奴汗国一连几年大旱，赤地千里，寸草不生。东方新兴的强敌乌桓部落又不断侵袭，匈奴势力范围萎缩至蒙古哈尔和林及以南地区，大批人畜死亡，国力大衰。更糟的是，到公元四八年，南部八个大部落另行推举一位亲王当单于，也称呼韩邪二世单于。这位呼韩邪二世单于同样地归降中国，请求保护。于是匈奴汗国再度分裂为二，南匈奴汗国臣服中国，北匈奴汗国继续与中国对抗。
到了五十年代，北匈奴汗国进攻南匈奴汗国，南匈奴不能抵抗，向中国求救。中国政府采取三项措施：
一、把呼韩邪二世单于所属的八部人口牲畜，全部迁入长城，使他们在西河美稷（内蒙古准格尔旗）一带屯垦；
二、中国特设匈奴协防司令（护匈奴中郎将），与单于共同处理匈奴内政外交事务；
三、另设北疆边防司令（度辽将军），屯兵曼柏（内蒙古达拉特旗东南），一则防止南北两匈奴复合，一则防止北匈奴向南匈奴攻击。
北匈奴汗国当然不肯甘心，不断南下突袭，使中国北方沿边郡县，白天都得紧闭城门。
一世纪六十年代之后，中国国力恢复，开始对北匈奴反攻。七三年，大将窦固出酒泉（甘肃酒泉）西进，直到天山，占领北匈奴汗国最肥沃的耕地之一伊吾卢（新疆哈密），留兵屯垦。另一位大将耿秉出张掖（甘肃张掖）北进，深入三百公里，直到三木楼山（蒙古工则克山），北匈奴坚壁清野，向后撤退，没有受到重大创伤。八五年，北匈奴汗国的七十三个小部落投奔南匈奴汗国。八七年，位于乌桓部落北方新茁壮起来的鲜卑部落（内蒙古西辽河上游），也向北匈奴侵略，北匈奴在迎战中大败，优留单于被杀，内部混乱，又有五十八个部落共二十八万人，进入长城，归顺南匈奴汗国。
中国乘北匈奴内外交困，及时的与南匈奴组织中甸联军，给予最沉重的一击。八九年，中国大将窦宪出朔方（内蒙古磴口），北疆边防司令（度辽将军）邓鸿出五原（内蒙古包头），南匈奴休兰尸逐侯囗单于出满夷谷（内蒙古固阳北），在涿邪山（蒙古戈壁阿尔泰山）会师，向北挺进，深入瀚海沙漠群一千五百公里，到稽落山（蒙古古尔班察汗山），终于捕捉到北匈奴主力。北匈奴主力在中国强大攻击下崩溃，北匈奴单于（历史上未记下他的名字）向西逃走，亲王以下一万三千人被杀，八十一个部落共二十余万人投降。窦宪就在燕然山（蒙古杭爱山）上，竖立石碑，纪念这次空前的胜利。
两年后（九一年），窦宪再派遣大将耿夔、任尚，出居延塞（内蒙额济纳旗），企图一举把北匈奴汗国消灭。耿夔统军急进，在金微山（蒙古阿尔泰山）下，把北匈奴单于包围，北匈奴再度崩溃。皇太后亲王以下五千余人，全部被俘。只北单于在混战中突围，向西逃走。
——这一次战役，对中国固然重要，但对西方世界更为重要。北匈奴汗国残余部落，在漠北不能立足，只得向西流亡。三百年之后四世纪时，终于侵入黑海北岸，引起推骨牌式的民族大迁移。原住在黑海北岸的西哥德部落，向西侵入多瑙河上游。原住在多瑙河上游的汪达尔部落，向西侵入罗马帝国。罗马帝国对这些排山倒海而来的野蛮民族，无法抵御，而终于沦亡。
北匈奴汗国西迁后，只剩下南匈奴汗国，永远成为中国的臣属。
——匈奴汗国（也就是南匈奴汗国），在形式上仍继续存在一百余年，不过在中国历史上不再重要。二一六年时，它最后一位元首呼厨泉单于从当时的王庭平阳（山西临汾）去邺城（河北临漳）拜会当时中国的宰相曹操，曹操把他留下。下令将匈奴汗国分为五部，每部各设立一个都督，直属中国中央政府，单于名位撤销。这个煊赫一时，立国约四百三十年的庞大国度，终告灭亡