在元朔三年（公元前126年），張歐被免去了官職，皇帝帝任命公孫弘為禦史大夫。當時，朝廷正在開通西南夷地區的道路，在東邊設置滄海郡，在北邊修築朔方郡的郡城。公孫弘屢次勸谏皇上，認為去經營那些無用的地方會使中原疲憊不堪，希望停做這些事情。于是，皇帝就讓朱買臣（江蘇省蘇州市，哇耶，還是第一次在史記裡看到這個省）等以設置朔方郡的有利情況來诘難公孫弘。朱買臣等提出十個問題，公孫弘一個也答不上來。公孫弘便道歉說：“我是山東的鄙陋之人，不知築朔郡有這些好處，希望停做通西南夷和置滄海郡的事，集中力量經營朔方郡城。”皇上就答應了。

汲黯說：“公孫弘位列三公，有很多俸祿。卻蓋布被，這都是騙人的。”于是皇帝詢問公孫弘。

公孫弘謝罪說，“有這樣的事。九卿中與我交好的人沒有超過汲黯的了，但他今天在朝廷上質問我，确實說中了我的毛病。我有三公的高貴地位卻蓋布被，确實是巧行欺詐，妄圖釣取美名。我聽說管仲擔任齊國的宰相時，有三處府第，他的奢侈可以與君王相比，齊桓公依靠管仲的輔佐稱霸，這也是對周王的越禮行為。而晏嬰擔任齊景公的宰相時，自己吃飯不吃兩樣以上的肉菜，妻妾不許穿絲綢衣物，齊國依然可以治理得很好，這是因為他能夠與百姓同甘共苦。如今我公孫弘位為禦史大夫，卻蓋着布被，這使得九卿之下和小吏沒有貴賤的差别（翻譯不出來，大概就是想效仿晏嬰），确實如汲黯所言。況且如果沒有汲黯的忠誠，陛下又怎能聽到這些話呢？”

皇帝認為公孫弘謙讓有禮，越發厚待他，終于讓公孫弘當了丞相，封為平津侯。