可是，軍中長史卻心驚膽顫，與與決眭都尉輝渠侯商議道：“將軍心懷異心，為邀取功名而不顧將全軍帶入危險的境地，恐怕必招致失敗。”于是兩人密謀將李廣利抓起來，以阻止他的莽撞行動。不料消息走漏，為李廣利所探知。李廣利果斷出手，借故將長史斬了，但內心里覺得他的擔憂還是有道理的，忙收攏軍隊，率部撤退至速邪烏的燕然山（即今杭愛山脈）。
狐鹿姑單于知漢軍勞倦，覺得戰機到了，便親自率領已休整多日的五萬騎兵前去截擊漢軍。雙方大戰數日，死傷都很慘重。但漢軍明顯更為勞頓，一天深夜，匈奴人趁漢軍不備，在漢軍的營壘前挖了一條壕溝，深達數尺，然后匈奴人從營壘后猛攻漢軍。漢軍疲敝，漸漸不支，且戰且退，卻發現身后是一條大壕溝，退無可退，頓時陣腳大亂。匈奴人見勝利在望，軍心大振，便發動了更猛烈的攻勢。連日的奔波的漢軍終于抵擋不住了，一個踉蹌，被擊得大敗。走投無路之際，李廣利率領剩下的人投降了匈奴。
狐鹿姑單于大喜，嘆息說自漢匈大戰以來，年年征伐，年年被動，只有今天才算取得了一個像樣的大勝利，又知李廣利雖不如衛青、霍去病尊貴，但在漢廷也算得上是大將、貴臣，因而既不輕視他，也不怠慢他，便將一個女兒嫁給他做妻子，尊寵則在衛律之上。
這衛律本是匈奴人，卻在漢廷長大，在朝廷做官時，與李廣利及他的弟弟李李延年、李季都有一定的交情，與李延年的交情尤其頗好。因此，李延年曾在武帝面前舉薦衛律，使其得以出使匈奴。后來，李延年因李季之事伏法，衛律怕被株連，便投降了匈奴。如今衛律見李廣利投降在自己之后，而受到的尊寵卻在自己之上，心生嫉妒，欲加害李廣利，便天天盤算著，表面上與其談笑風生，內心里卻苦思除掉他的對策……
漢軍貳師將軍李廣利部有七萬熱血男兒，卻全部陷沒于匈奴。這一驚天消息輾轉傳送至京師后，武帝愕然，勃然大怒道：“奇恥大辱！”一腳便將面前的幾案踢翻，聲嘶力竭地吼道：“朕的大司馬大將軍呢？朕的大司馬驃騎將軍呢？”左右無人敢應答。武帝余怒未熄，見人就罵，見物就踢，而后呆了半晌，又嘆息了半晌……
不久，李廣利的家人為其所累，全部被誅。
征和四年（公元前89年），因長年的戰爭，弄得漢匈都很疲敝，于是狐鹿姑單于派遣使者給武帝傳書說：“南有大漢，北有強胡。胡者，天之驕子也，不為小禮以自煩。現在我們想與漢廷大開邊關，娶漢女為妻，每年請漢廷送給我們糵酒萬石，稷米五千斛，雜繒萬匹，其他如故約，那么我們就不再侵擾漢廷的邊界了。”武帝閱后笑了一笑，寫了一些不痛不癢的話，令一使者回報并順道護送匈奴使者回國。狐鹿姑單于閱信后有些不悅，便令左右設法為難一下漢使，有人說：“漢，禮義國也。但是，聽貳師將軍說，前太子曾發兵謀反，這是什么緣故呢？”漢使不慌不忙道：“是有這么一回事，但并非太子有意謀反。乃是丞相私與太子爭斗，太子發兵欲誅丞相，丞相誣之，故誅丞相。此種行為，乃子弄父兵，罪當笞，不過是小過錯罷了。與冒頓單于親自射殺生父、自立為單于、娶后母為妻的行為相比，怎么樣呢？更不值一提了。據實而論，后者簡直是禽獸的行為！”對方瞠目結舌，啞口無言。狐鹿姑單于則惱羞成怒，立即下令扣留漢使，三年后才讓他回來。
李廣利在匈奴居住一年多后，恩寵日盛，惹得衛律的妒火更是旺盛。不久，單于的母親病了，久治不愈。狐鹿姑單于很是憂愁，便求助于一巫師。可巧這名巫師與衛律交好，于是衛律教唆他對單于道：“大閼氏的病之所以很難治好，是因為先單于發怒了，他說：‘我們過去祭兵，經常說抓住貳師將軍就要把他殺了以祭祀宗廟，現在抓到了，為什么還不行動？’”狐鹿姑單于聽了，當即決定犧牲掉貳師將軍。李廣利被捕時，怒不可遏，一面大罵衛律無恥，一面大罵單于不講信用，惡狠狠地詛咒道：“我死必滅匈奴！”狐鹿姑單于聞言也大怒，立即喝令速取貳師將軍的人頭來祭祀宗廟。
李廣利死后，正巧匈奴連著下了幾個月的大雨雪，牲畜凍死了不少，莊稼不能成熟，人們也害瘟疫得病。狐鹿姑單于想起了李廣利臨死前的詛咒，以為是他的亡魂在作祟，嚇出一身冷汗，忙令人為貳師將軍建立祠室，然后備上齊全的祭品，親自前去祭祀。
