衛子夫得寵，衛家人自然都很高興。可是，皇宮中有人不高興了。當時皇后陳阿嬌尚無子嗣，見衛子夫先于自己懷上龍種，如何不動怒，由妒生恨，卻下不得手，只得向她的母親館陶公主、景帝之姊、堂邑侯陳午之妻訴苦。館陶公主聽了，大罵劉徹是負心人，說若非她們娘兒倆，如何能登上皇帝寶座。這倒是實情，不過時過境遷，對他也只能過過嘴癮了。
館陶公主又說，皇帝動不得，衛子夫動不得，但衛子夫的弟弟還是可以動一動的。于是在某一個風高月黑的晚上，辦完差事后的衛青突然被人打了一悶棍，接著一伙人捆了他就走。所幸有同僚發現，并認得那些人出自館陶公主府，便急忙去找騎郎公孫敖商議。公孫敖乃衛青的好友，聽說他危在旦夕，二話不說，領了一批壯士，縱馬去追，硬是從那伙人手上將衛青搶了回來，才使其免于被害。衛青自是感激不盡。
武帝得知此事后，大為憤怒，但也不能對館陶公主怎樣，為使衛青免受威脅，決定提升他的身份，便升遷其為建章監（掌建章宮守衛）、侍中（秦漢時加官，侍從皇帝左右，出入宮廷。）。數日之內，又連續賞賜他，累計多達千金。
衛家的其他人，也紛紛顯貴。衛長君為侍中，衛君孺嫁予太仆公孫賀為妻，衛少兒嫁給了陳平之曾孫、詹事陳掌。公孫敖因救衛青有功，此后也開始顯貴。
不久，衛子夫被封為夫人。衛青則升遷為太中大夫（掌議論，屬郎中令（光祿勛）。）。難能可貴的是，兩人雖從社會底層突然躍升至身份顯赫之輩，但都不志得意滿，飛揚跋扈，仍然謹慎從事。
有一天，衛青特意去了一趟甘泉宮，他是去感謝那位相面人的，并恭敬地雙手奉上皇帝的赦令——這是他求來的。相面人看著衛青，又是感激又是感嘆……
自建元三年（公元前138年）到元光六年（公元前129年），近十年間，衛青追隨武帝左右，一起聽聞朝政，見識與才干與日俱增。武帝看在眼里，喜在心頭。元光六年的秋天，武帝終于下了決心，再次攻打匈奴。車騎將軍衛青、輕車將軍公孫賀、太中大夫騎將軍公孫敖、衛尉驍騎將軍李廣等四將分別率領一萬騎兵出塞，相約于關市附近攻打匈奴。軍臣單于得知，早做好了相應的準備。
四將之中，李廣名氣最大，是以所部一出雁門，就為匈奴大軍所圍困。漢軍左沖右突，卻是寡不敵眾，連主帥李廣都因傷被匈奴人所活捉。后來李廣佯裝傷重不治，乘敵不備，尋了一個間隙，奪馬奪弓，射殺追騎，擺脫敵人，南歸至漢。公孫賀部出云中后，沒有遇到敵人，一無所獲，不勝不敗。公孫敖部出代郡之后，為匈奴人所擊敗，損失了七千余人。初次領軍的衛青則出手不凡，領軍出上谷后，直撲龍城，一路沖殺，殺死和俘虜敵人近七百余人。
四將回朝之后，衛青得賞，被賜爵為關內侯。公孫賀無功無過，不賞不罰。公孫敖、李廣按律皆當斬，后兩人各交納了一定數量的贖金，因而改作皆廢為庶人。
匈奴人頭次為衛青所擊敗，吃了大虧，自是不服。這年冬天，匈奴數次入侵漢朝的邊地，漁陽郡受害最重。武帝令韓安國率軍緊急前往漁陽防守。
元朔元年（公元前128年）秋，匈奴兩萬騎兵入侵漢境，殺死了遼西太守，掠走二千余人。匈奴人又攻打漁陽郡，擊敗漁陽太守手下的一千余守軍，繼而圍困了韓安國部，眼看著他所率領的一千余騎兵也即將被全殲，形勢正危急時，恰巧燕王的救兵及時趕到，匈奴人這才退去。其時雁門郡也遭到了匈奴人的襲擊，找書苑 www.zhaoｓhuyuａｎ.ｃom 被害和被俘者達一千余人。
損失如此巨大，武帝豈能甘心，急令衛青率三萬騎出雁門，李息部出代郡，襲擊匈奴。此一役，衛青部斬殺和俘虜敵軍達數千人。
元朔二年，衛青部沿著云中郡的西部，到達隴西，出塞后，攻打匈奴位于黃河河套南岸地區的樓煩、白羊這兩個部落，得胡首虜數千，牛羊百余萬。于是漢軍順勢奪取了河南地。蘇武之父、將軍蘇建依令領人修筑朔方城（今內蒙古烏拉特前旗東南），又修繕了秦時蒙恬所修建的關塞，憑借著黃河天險，修建了一條堅固的防線。與此同時，漢廷放棄了上谷郡的與匈奴地界交錯而曲折偏僻的縣，如造陽一帶，都給予了匈奴。遷出來的居民，則補入新置的縣，以加強防衛力量。
回朝后，武帝封衛青為長平侯，食邑三千八百戶；蘇建為平陵侯，張次公為岸頭侯。
這年冬天，匈奴軍臣單于逝世。軍臣單于的弟弟左谷蠡王伊稚斜自立為單于。太子於單自是不服，率部與之對抗，卻處于下風，逃無可逃，只得投降漢廷。來者不拒，武帝熱烈歡迎，封於單為涉安侯。然而，走到這一步，得到這個結果，并不是於單想要的，當然心不甘情不愿，卻又無可奈何，是以終日郁郁寡歡，數月不到，便生病去世了。武帝惋惜一番，厚葬了他。
元朔三年（公元前126年）的夏天。伊稚斜單于的地位已經穩固了，便揮軍南下。匈奴數萬騎攻入代郡，襲殺太守共友，搶掠一千余人。這年秋天，匈奴人又侵襲雁門郡，殺略千余人。
