不久後，石建去世，漢武帝便召李廣接替其職，擔任郎中令。

元朔六年（公元前123年），李廣再次被任命為後将軍，随大将軍衛青從定襄郡出兵攻打匈奴。此戰中，許多将領因斬殺敵首數量達标而封侯，唯獨李廣的部隊無功而返。

兩年後（公元前121年），李廣以郎中令身份率領四千騎兵從右北平出擊，博望侯張骞率一萬騎兵與其分路進軍。

李廣部隊行進數百裡後，匈奴左賢王率四萬騎兵将其包圍，漢軍士兵驚慌失措。

李廣命兒子李敢率數十騎兵直沖敵陣，穿透匈奴騎兵的左右兩翼後返回，李敢回報：“匈奴人容易對付！”軍心這才穩定。

李廣命士兵布成圓形防禦陣型，面向外圍，匈奴猛烈進攻，箭如雨下。漢軍死傷過半，箭矢即将用盡。李廣下令士兵拉滿弓弦但不放箭，自己親自用大黃弩（強弩名）射殺匈奴副将數人，匈奴攻勢稍緩。時至日暮，将士們面如土色，李廣卻神色自若，從容指揮，全軍由此欽佩他的膽魄。

次日，漢軍拼死奮戰，恰逢張骞援軍趕到，匈奴撤圍退去。此時漢軍已疲憊不堪，無力追擊。此戰李廣部隊幾乎全軍覆沒，隻得撤回。

按漢朝律法，張骞因延誤行軍、未按期會師，論罪當斬，後贖罪貶為平民；李廣雖殺敵數量與損失相當，功過相抵，未得封賞。

當初，李廣的堂弟李蔡與李廣一同侍奉漢文帝。景帝時期，李蔡累積軍功升至二千石俸祿的官職。漢武帝時，官至代國丞相。

元朔五年（公元前124年），李蔡以輕車将軍身份随大将軍衛青攻打匈奴右賢王，因戰功達标，被封為樂安侯。

元狩二年（公元前121年），他接替公孫弘擔任丞相。李蔡的才能僅屬中等，名聲遠不及李廣，然而李廣一生未能獲得爵位封邑，最高官職不過九卿，而李蔡卻位列侯爵，官至三公（丞相）。就連李廣手下的軍官士兵中，也有不少人因軍功封侯。

李廣曾私下與占蔔師王朔閑談，問道：“自漢朝與匈奴開戰以來，我未嘗缺席任何一場戰役。許多部下才能平庸，卻憑軍功封侯數十人。我自認不落人後，卻始終未能因尺寸之功得封侯爵，這是為何？難道我面相不配封侯？還是命中注定？”

王朔反問：“将軍可曾做過令自己悔恨之事？”

李廣歎道：“我曾任隴西太守時，羌人叛亂，我誘降八百餘人，卻在同一天背信将他們全部殺害。至今唯有此事令我悔恨難消。”

王朔道：“最大的災禍莫過于殺害降卒，這正是将軍不得封侯的緣由。”