後來，漢朝用馬邑城作為誘餌引誘匈奴單于，派大軍埋伏在馬邑附近的山谷中，李廣被任命為骁騎将軍，隸屬于護軍将軍（韓安國）指揮。然而單于察覺了漢軍的計謀，中途撤退，漢軍無功而返。

四年後，李廣以衛尉身份擔任将軍，率軍從雁門關出擊匈奴。匈奴兵力強大，擊潰了李廣的軍隊，并活捉了他。

單于素來聽聞李廣的才能，下令說：“抓到李廣必須活着送來！”

匈奴騎兵俘虜李廣時，他正因受傷患病，被安置在兩匹馬中間，用繩索編成的網兜托着行進。走了十多裡，李廣佯裝死去，暗中瞥見旁邊有個匈奴少年騎着一匹好馬，他突然躍起跳上少年的馬背，将少年推落，奪下弓箭，策馬向南狂奔數十裡，重新集結殘部，帶着他們撤回邊塞。匈奴派出數百騎兵追擊，李廣邊逃邊用奪來的弓箭射殺追兵，最終得以脫身。

回到漢朝後，朝廷将李廣交給司法官吏審判。官吏判定他損失慘重且被匈奴活捉，按律當斬，李廣用錢贖罪後被貶為平民。

不久，李廣在家閑居數年。他與前颍陰侯的孫子隐居在藍田南山中打獵。一天夜裡，他帶一名随從外出，在田間與人飲酒。返回時路過霸陵亭，霸陵尉喝醉了酒，呵斥李廣禁止通行。

随從說：“這是前任李将軍！”

霸陵尉卻道：“現任将軍尚且不得夜行，何況是前任！”強行扣留李廣在亭中過夜。

沒過多久，匈奴入侵殺死遼西太守，擊敗韓安國将軍，朝廷将韓安國調任右北平太守。