李廣将軍是隴西郡成紀縣人。他的先祖李信在秦朝時任将軍，曾追獲燕太子丹（即荊轲刺秦後燕國派刺客的主謀）。李家原籍槐裡，後遷至成紀。李氏家族世代傳承射箭技藝。

漢文帝十四年（前166年），匈奴大舉入侵蕭關，李廣以良家子弟身份參軍抗擊匈奴，憑借高超的騎射本領斬殺衆多敵軍，被任命為漢中郎。其堂弟李蔡也任郎官，兩人都擔任武騎常侍，俸祿八百石。

李廣曾随文帝出行，多次沖鋒陷陣、突破險關以及與猛獸搏鬥，文帝感慨道："可惜啊！你生不逢時！若是在高祖争霸天下的時代，封個萬戶侯又算得了什麼！"

漢景帝即位初期（前156年），李廣升任隴西都尉，後調任騎郎将。吳楚七國之亂時（前154年），李廣擔任骁騎都尉，跟随太尉周亞夫平定叛亂，在昌邑城下奪旗立功。但因私下接受梁王授予的将軍印信，班師後未獲封賞。改任上谷太守期間，每日都與匈奴交戰。

典屬國公孫昆邪向景帝泣谏："李廣才氣蓋世，但自恃勇猛屢次與匈奴正面交鋒，臣擔心他會戰死沙場。"

于是改任上郡太守。此後李廣相繼擔任隴西、北地、雁門、代郡、雲中等邊郡太守，皆以骁勇善戰聞名。

匈奴大舉入侵上郡，漢武帝派遣一名宦官随李廣整訓軍隊抗擊匈奴。這位宦官率領數十騎兵縱馬出巡，遭遇三名匈奴騎兵，雙方交戰。匈奴人回身射箭，射傷宦官，幾乎全殲其随從騎兵。

宦官逃回李廣處禀報，李廣斷言："這定是匈奴射雕手！"

當即親率百名騎兵追擊。

三名匈奴人棄馬步行，已逃出數十裡。李廣指揮騎兵分左右兩翼包抄，親自張弓射殺其中兩人，活捉一人，果然是匈奴精銳射雕手。剛将俘虜捆上馬背，忽見遠處有數千匈奴騎兵，對方發現李廣小隊後，誤以為是誘敵之兵，急忙退至山頭列陣。

李廣的百騎部下驚恐欲逃，李廣制止道："我們距大營數十裡，此刻若策馬奔逃，匈奴必追擊射殺殆盡。但若留駐此地，匈奴反會疑心我們是誘餌，不敢輕舉妄動。"