皇帝曾想教他孫子和吳起的兵法，他回答說：“戰争隻看方針策略如何就夠了，不必學習古代兵法。”

皇帝為他修蓋府第，讓骠騎将軍去看看，他回答說：“匈奴還沒有消滅，無心考慮私家的事情。”

從此以後，皇帝更加重用和喜愛骠騎将軍霍去病。但是，霍去病從少年時代起，就在宮中侍候皇帝，得到顯貴，卻不知體恤士卒。他出兵打仗時，天子派遣太官贈送他幾十車食物，待他回來時，辎重車上丢棄了許多剩餘的米和肉，而他的士卒還有忍饑挨餓的。他在塞外打仗時，士卒缺糧，有的人餓得站不起來，而骠騎将軍還在畫定球場，踢球遊戲。他做的事多半如此。大将軍衛青的為人卻是仁愛善良，有退讓的精神，以寬和柔順取悅皇上，但是天下之人沒有稱贊他的。

骠騎将軍自元狩四年（前119）出擊匈奴以後三年，即元狩六年（前117）就去世了。武帝對他的死很悲傷，調遣邊境五郡的鐵甲軍，從長安到茂陵排列成陣，給霍去病修的墳墓外形象祈連山的樣子。給他命名谥号，把勇武與擴地兩個原則加以合并，稱他為景桓侯。霍去病的兒子嬗接替了冠軍侯的爵位。霍嬗年令小，表字叫子侯，皇上喜愛他，希望長大後任命他為将軍。過了六年，即元封元年，霍嬗死去，皇上封賜他哀侯的谥号。他沒有兒子，因而後代斷絕了，封國被廢除。

自從骠騎将軍霍去病去世後，大将軍衛青的長子宜春侯衛伉因為犯法而失去了侯爵（時間為公元前117年，元狩六年）。五年後（公元前112年，元鼎五年），衛伉的兩個弟弟，陰安侯不疑和發幹侯登，也因為助祭金成色不足和分量不夠的罪名失去了侯爵。失去侯爵後兩年（公元前110年，元封元年），冠軍侯國被廢除。又過了四年（公元前106年，元封五年），大将軍衛青去世，谥号為烈侯。衛青的兒子衛伉繼承了長平侯的爵位。