衛青為人仁慈，性格柔和，遇好事不爭先，能退讓，對待同仁、部屬，態度誠懇，不當面一套背后一套，又一來為李廣之死而心懷愧疚，二來也不想讓李家再受罪責，因而李敢擊傷自己一事，一直隱匿不說。然而，紙包不住火，衛青自己不說，知曉內情的平陽公主卻忍不住了，不顧衛青的告誡，將這事偷偷地告訴了霍去病。
舅舅衛青一向是霍去病心里的偶像，聽說自己的部下竟然敢冒犯大將軍，頓時火起，便要去尋仇。平陽公主一看情勢不妙，慌忙將霍去病勸住了。然而，兩人的梁子算是結下了。
不久，武帝帶上霍去病，李敢等人，自上雍到甘泉宮去狩獵。霍去病瞅了一個機會，射殺了李敢。武帝得知，勃然大怒，將霍去病狠狠訓斥了一頓，但又不想責罰他，便為他打圓場，對外宣稱：李敢在狩獵時不慎為野鹿所觸殺。衛青自然是知道真相的，將平陽公主和霍去病都召來狠狠地罵了一頓。
蘇建曾勸衛青養士以獲得好名聲。衛青認為養士會讓天子忌諱，以前魏其侯竇嬰和武安侯田蚡厚待賓客就常讓天子切齒，而且作為臣子，只需要奉法遵職就可以了，何必為求得好名聲去養士呢？在衛青的告誡和教導下，霍去病雖也是戰功顯赫，但也一不結黨，二不養士，因而毛病雖多，但與衛青一樣，始終為武帝所器重。
漠北之戰后，匈奴人實力大損，遠遠逃遁，本應再接再勵，徹底消除禍患，但漢廷因軍馬少，已無法再去追擊。伊稚斜單于也覺得此時漢廷強大，匈奴勢弱，便采用趙信之計，派出使者，呈上好辭，請求和親。武帝召集群臣，商議此事。有人認為當和親，有人認為當趁機使匈奴臣服。丞相長史任敞道：“匈奴剛剛遭受失敗，疲憊交加，處境困難，應當讓他們做外臣，每年春秋兩季到邊境上來朝拜皇上。”武帝欣然贊同，便派他為使，前去說降。
伊稚斜單于聽了任敞的話，勃然大怒，說大匈奴還沒困窘到這一步呢，便扣留了他，不讓他回歸長安。在此之前，漢朝也招降過匈奴使者，單于亦扣留漢朝使者相抵償。
武帝得知伊稚斜單于不肯臣服后，自是大怒，便下令收集兵馬，準備再次遠征匈奴，心中理想的主帥自然是霍去病。這一年乃元狩六年（公元前117年）。數次領兵出征的勞累，長時間處于艱苦的環境，終于將疆場上威風凜凜的驃騎將軍給擊倒了。這時，太子劉據和皇后衛子夫日漸寵衰，因而常懷憂心。雖然武帝曾主動找到衛青，讓他轉告太子，說他溫厚好靜能安天下，是最合適的繼位賢主，但隨著武帝的年事日高，疑心漸重，與衛青一樣，霍去病也不禁為太子的未來擔憂。
雖然病得很重，但霍去病還是決定冒死進諫，上疏請武帝封皇子劉閎、劉旦、劉胥三人為諸侯王，并且諸侯王必須“就國”，即去封地居住而不能留在長安。奏章中說承蒙陛下錯愛，使自己能在軍職。本應專心思考邊防事務，即使戰死荒野也無法報答陛下，居然敢考慮他事來打擾陛下。自己這樣做，實在是因為看到陛下為天下事憂勞，因哀憐百姓忘了自己，減少了食膳音樂，裁減了郎員。皇子們賴天保佑，長大成人，已能行趨拜之禮，但至今未封號位，設師傅官。陛下謙恭禮讓，不憐憫骨肉之情，群臣私下都希望早日予以封號，但不敢越職進奏。自己不勝犬馬之心，冒死建言，希望陛下命有司，趁盛夏吉日早定皇子之位。希望陛下鑒察。
三月乙亥日，御史霍光兼尚書令上奏未央宮。漢武帝下詔說交御史辦理。四月乙巳日，武帝封劉閎為齊王，劉旦為燕王，劉胥為廣陵王，并令人傳話說：愛卿所慮之事，朕已辦妥了。暫時不要再考慮別的事情，好好養病，朕靜候你的佳音。
這年九月，大司馬驃騎將軍霍去病的病情日益嚴重，自知時日無多，便將長子霍嬗（字子侯）召喚到病床前，囑咐他好好侍奉母親，忠于君主，忠于職守。霍嬗留著淚，一一答應。霍去病又轉頭看向自己的愛妻，緊緊拉著她的手。去病之妻也緊握著他的手，淚眼婆娑，無語凝噎。霍去病勉強擠出一個笑容，嘴巴微張，但終究沒有再說出一個字，握著妻子的那只手漸漸松開，漸漸松開……
任何時候，武帝都是步伐不緩不急，形色不慌不忙，舉止相當從容。可這一次，他的步伐緊急，他的形色慌亂，一進霍府，也隨之流淚，并久久哀嘆，言大司馬驃騎將軍薨，朕折一臂矣！
此后，武帝心灰意冷，暫時不再言北擊匈奴之事。
