都督為地方軍事長官，雖然在唐初權責較輕，但仍然掌握軍務。

桂州位于嶺南廣西地區，為鉗制少數民族，可以養練士兵，為備戰之地。

而這也讓許敬宗有了借口，他上奏李治，中書令韓瑗、中書侍郎來濟與褚遂良關系緊密，常有書信往來，有朋黨之像。如今，韓瑗、來濟結黨營私，将褚遂良遷為桂州都督，乃有異心，是想謀反。

這三人是不是朋黨先放一邊不說，畢竟他們确實走得很近，還是當初廢王立武事件中旗幟鮮明、跳得最高的朝臣。單說讓褚遂良做桂州都督，是因為他們有反心，多少是太過牽強的。

褚遂良就是個文臣，自從跟了李世民，在外放地方前，唯一做過的和軍事相關的官職就是铠曹參軍，屬于管理兵器、铠甲的後勤官。

再說桂州，雖然可以養兵、練兵，但是距離長安十萬八千裡。現在又是太平盛世，即便是要謀反，也會是玄武門之變這種宮變，怎麼可能從桂州一路打到長安來。估計都出不了廣西，就被附近都督領兵滅了。

然而，當初褚遂良能憑借一句“依照伊尹、霍光行徑”，哪怕有同為輔政之臣的馬周為劉洎作證他沒這麼說過，太宗還是讓劉洎自盡。如今，李治又為何不可因許敬宗一句“此三人想謀反”，便将三人放逐？

于是，在顯慶二年的春天，韓瑗被貶為振州刺史，也就是海南三亞；來濟被貶為台州刺史，也就是浙江臨海。這兩個地方用現代人的眼光看是個好地方，但是如今都屬于南方未開發地區，不僅經濟落後，還有潮濕的氣候、水蠱症、蛇蟲蚊蟻衆多，反正就是不太好活着。

再說褚遂良，他剛接到桂州都督的貶谪之令沒多久，便又接到了被貶為愛州刺史的诏令。唐朝的刺史相當于過去的太守，屬于地方行政官。而愛州就是現在的越南清化，也就是說褚遂良直接被貶到當時的化外之地了。

褚遂良出身名門貴族、一路順風順水，從管理“弘文館”的“館主”到記載太宗言行的起居郎，再到谏議大夫、黃門侍郎、顧命大臣、吏部尚書、尚書右仆射，一直都是簡在帝心的天子近臣，最頂峰的時候甚至能和李治的親舅舅長孫無忌平起平坐，被太宗托孤為“漢武寄霍光，劉備托諸葛（《舊唐書·列傳三十》）”。

這樣的褚遂良如何受得了一貶再貶，起複無望，隻能在荒毛之地等死的處境？

褚遂良上表李治，先是回憶往昔自己擁立李治做儲君的功績，說當初李承乾被廢了，岑文本、劉洎等人勸太宗立李泰為太子，是他力争讓李治成了太子。

接着，他又回憶當初太宗托孤于他，太宗離世後，李治抱着他的脖子哭，悲恸迷茫，是他和長孫無忌先行扶柩回宮，穩定局勢，讓李治平穩即位。

最後，他才表達自己的卑微，乞求李治的憐惜，“臣力小任重，動贻伊戚，蝼螘餘齒，乞陛下哀憐。（《舊唐書·列傳三十》）”

可能在褚遂良看來，他在李治即位這件事上起到了力挽狂瀾的作用，而且現在已經足夠卑微了。哪怕是看在過去的面子上，李治就算不再重用他，也應該把他召回去安穩養老。畢竟他都已經六十二歲了，現在遭遇這樣的打擊，也沒幾年好活的了。

李治可不這麼想，當然也許也有厭惡的人做什麼都會被厭惡的心理，反正李治在這份奏表裡隻看到了褚遂良還是沒反省自己的過錯，隻知道沉迷于過去的功勞，滿篇都是先皇如何愛重他褚遂良，沒了他褚遂良，李治也當不上皇帝，仍然是沒把李治放在眼裡。

李治本來就是因為褚遂良桀骜不馴，悖戾犯上才貶谪他的，現在一看他仍然是這副樣子，也懶得再理他。

于是，這份飽含褚遂良心血的奏表并沒有為他換來李治的垂愛。

顯慶三年，褚遂良于愛州病逝，享年六十三歲。