不久，一所氣勢恢宏的宅第在長安落成了。武帝親自領著霍去病去看，笑道：“此乃朕親自為你設計的宅子，愛卿以為如何？”霍去病看也不看，微笑著搖了搖頭，一句千古名言脫口而出：“匈奴不滅，無以家為也。”武帝聽了，不怒反喜，更加看重霍去病了。
又過了不久，武帝請了一個名士，準備教授霍去病孫吳兵法。霍去病卻道：“不必學古兵法。用兵方略，當因地制宜，應時而動，靈活而定。”武帝聽了，微微一笑，說既如此，那你就與這位名士過過招吧。于是二人辯論了半日。完畢之后，那人對武帝嘆道：“驃騎將軍雖然沒有學過古兵法，但所談所論，無一不合古兵法，真是天資過人啊！”……
又過了一些時候，武帝為霍去病說了一門親事。霍去病見那女子相貌端莊，舉止賢惠，便欣然應允。武帝得知，也相當歡喜，便令人吹吹打打，為霍去病舉辦一個隆重的婚禮。
衛青、霍去病二人顯赫后，京城中有歌謠說：“生男無喜，生女無怨，獨不見衛子夫霸天下。”意思是說衛氏一門的顯貴全靠了衛皇后。事實當然不是這樣的，衛青、霍去病都是在戰場上出生入死，浴血奮戰，為國家做出了重大貢獻，因軍功顯著才得以封侯的。
這年夏天，霍去病與合騎侯公孫敖共領數萬騎俱出隴西、北地，然后分別領兵行進。霍去病部出北地后，逐步深入。公孫敖部則迷失了方向，難以再呼應、支援霍去病部。但霍去病無所畏懼，揮軍一路向前，遠離邊塞達二千余里，過居延澤，攻至祁連山，殺死和俘虜匈奴三萬余人，其中有裨小王以下七十余人。
漢軍尋擊匈奴。匈奴人反過來也襲擾漢廷，入侵代郡、雁門，殺略數百人。于是博望侯張騫、郎中令李廣奉命俱出右北平，尋擊匈奴左賢王。出塞后，李廣領四千騎先行，張騫御萬騎于后。不久，匈奴左賢王發現了李廣部，立即揮指數萬騎包圍了他們。雙方大戰二日，李廣部死者過半，但所殺的匈奴人超過了己方的陣亡人數。形勢正危急時，張騫部趕到了。左賢王見勢不妙，立即下令退兵。
回朝后，計算功過。霍去病部使敵人損失了十分之三的人馬，故霍去病的食邑增加了五千四百戶。校尉一級的軍官，凡從至小月氏者，皆賜爵左庶長（爵名，第十級。）。鷹擊司馬趙破奴率部斬速濮王（匈奴王號），捕匈奴稽且王之右千騎將，得王、王母各一人，王子以下四十一人，捕虜三千三百三十人，前行捕虜一千四百人，故被封為從驃侯。匈奴人、校尉高不識捕呼于耆王王子以下十一人，捕虜一千七百六十八人，被封為宜冠侯。校尉仆朋亦功勞甚大，被封為輝渠侯。合騎軍公孫敖與博望侯張騫都誤了日期，以致兩軍不能如期會合，影響軍機，當斬，后兩人繳納了一定的贖金后，皆變成了庶人。
這年秋天，伊稚斜單于對居住在西方的渾邪王、休屠王被漢朝殺死和俘虜數萬人的事感到憤怒，想召見并誅殺他們。渾邪王與休屠王感到恐懼，密謀投降漢朝，武帝派驃騎將軍前去迎接他們。中途，休屠王想反悔。渾邪王殺了休屠王，合并了他的軍隊，領著全部的部屬投降了漢朝。人數總計四萬余人，號稱十萬，以從心理上打擊伊稚斜單于。
漢廷自從接受渾邪王投降之后，隴西、北地、河西遭受匈奴侵擾的事越來越少，就逐步把關東地區的貧民遷徙到從匈奴那里奪回來的河南地、或曰新秦中地區，以充實這里的人口，并將北地以西的戍卒減少一半。
元狩三年春，伊稚斜單于向右北平、定襄各派出了數萬騎兵。兩地被殺略的人口總計達一千余人。
元狩四年（公元前119年）春，武帝決定發動更大規模的反擊。這個時候，伊稚斜單于已按照翕侯趙信的謀劃，遷移各部落，居于大漠之北，自以為絕遠而漢兵不能至，或者即使來了也難以久留，站不穩腳跟。武帝卻不信邪，明知山有虎，偏向虎山行，明知路途過于遙遠，卻偏偏敢于派兵前去攻打。當然，出征之前，得做好萬全的準備。為提高馬的體力與耐力，武帝下令皆以粟飼之。
不久，各種物資都準備好了。作戰主力總計十萬騎，霍去病與衛青各領一半；但十萬騎中，敢力戰、敢深入之士都被調撥給了霍去病。除十萬騎主力外，自愿備馬、自愿擔負衣食等物、自愿隨軍出征的人達四萬余。這些人被妥善地分配到了兩軍之中。兵馬未動，糧草先行，后勤兵團自然也不弱。其中車馬自是數不勝數，負責轉運糧草輜重的步兵達數十萬。
