派将軍薛歐、王吸帶兵出武關（陝西商洛丹鳳縣，是古代“秦之四塞”之一，地處峽谷間一座較為平坦的高地上，北依高峻的少習山，南瀕險要），借着王陵兵駐南陽（河南南陽），到沛縣去接太公，呂後。

楚王聽說後，派兵在陽夏（河南周口太康縣）阻截，漢軍不能前進。

楚又封原吳縣（江蘇蘇州）縣令鄭昌為韓王，以抵拒漢軍。

二年（前205），漢王向東奪取土地，塞王司馬欣、翟王董翳、河南王申陽都歸降了漢王。

韓王昌不肯歸降，漢王派韓信打敗了他。

于是把攻占的土地設置為隴西、北地、上郡、渭南、河上、中地等郡；在關外設置了河南郡。

改封韓國的太尉信為韓王。漢王下令各路将領，率領一萬人或者獻出一郡之地降漢的，封給他一萬戶。

修築河上郡的要塞。原先秦朝供帝王遊玩打獵的園林，都允許人們去耕種。

正月，俘虜了雍王的弟弟章平。大赦天下罪犯。

漢王出了武關到達陝縣（河南省三門峽市西部），撫慰關外的父老，回來後，張耳前來求見。漢王對他十分厚待。

二月，下令廢除秦的社稷，改立漢的社稷（土神和谷神的總稱，社為土神，稷為谷神）。

三月，漢王從臨晉（山西運城臨猗縣）渡黃河，魏王豹帶兵跟随着。

攻下河内，俘虜了殷王，設置了河内郡。

又率軍向南渡過平陰津，到達洛陽。

新城縣一位掌管教化的三老董公攔住了漢王，向他說了義帝被殺的情況。

漢王聽後，袒露左臂失聲大哭。随即下令為義帝發喪，哭吊三天。

派使者通告各諸侯說：“天下諸侯共同擁立義帝，稱巨事奉。如今項羽在江南放逐并殺害了義帝，這是大逆不道。我親自為義帝發喪，諸侯也都應該穿白戴素。我将發動關中全部軍隊，聚集河南、河東、河内三郡的士兵，向南沿長江、漢水而下，我希望與諸侯王一起去打楚國那個殺害義帝的罪人！”

這時候，項羽正在北方攻打齊國，田榮和他在城陽交戰。田榮被打敗，逃往平原，平原的民衆殺了他。

齊國各地也都歸降楚國。

楚軍放火焚毀了齊國的城邑，掠走了齊人的子女，齊國人十分憤怒，又反叛楚國了。

田榮的弟弟田橫立田榮的兒子田廣為齊王。齊王已在城陽舉兵反楚。

項羽雖然聽說了漢王已經到東方來了，但因為已經與齊軍連續作戰多日，就想在打敗齊軍之後再去迎擊漢軍。

漢王因此得以挾持常山王張耳，河南王申陽、韓王鄭昌、魏王魏豹、殷王卬五諸侯的軍隊，攻入彭城。

項羽聞訊，立即率兵離開齊國，從魯縣（山東曲阜）穿過胡陵（江□□縣）到達蕭縣（安徽宿州），跟漢軍在彭城靈壁以東的睢水上激戰，大敗漢軍，殺了許多漢兵，睢水因此被阻塞不能暢流。

項羽又派人從沛縣擄來了漢王的父母妻子、兒女，把他們扣留在軍中做人質。

當時，諸侯們見楚軍強大，漢軍被打敗，又都背離了漢王而去幫助楚王。

塞王司馬欣逃入楚國。

呂後的哥哥周呂侯替漢王率兵駐紮在下邑（安徽砀山）。

漢王去投奔他，逐漸聚集士卒，駐紮在砀縣。然後率軍向西，經過梁地，到達虞縣（河南商丘虞城）。

漢王派使者随何到九江王黥布那裡去，說：“您如果能說服黥布發兵反楚，項羽一定會暫停留在那裡攻擊你。隻要項羽軍停留幾個月，我就一定能取得天下。”

随何前去遊說九江王黥布，黥布果然反楚。

楚派龍且前去攻打他。

漢王在彭城兵敗向西撤退的時候，途中派人去尋找家室，家室都已逃走，沒有找到他們。敗退途中隻找到了孝惠。

六月，立孝惠為太子，大赦罪犯。讓太子守衛栎陽，把在吳中的各諸侯的兒子也都集中到栎陽來守衛。

接着，引水灌廢丘，廢丘降漢，章邯自殺。把廢丘改名為槐裡。于是命令掌管祭祀的祠官祭祀天地、四方、上帝、山川，要按時祭祀。

又發動關内的士兵去防守邊塞。

這時候，九江王黥布與龍且交戰，沒打勝，就跟随何一起抄小路而行來歸附漢王。

漢王又漸漸收集士兵，跟各路将領及吳中軍隊頻頻出動，因而隊聲威大振于荥陽，在京、索之間擊敗了楚軍。

三年（前204），魏王豹請假回鄉去探視父母的疾病，一到魏國，就毀絕了黃河的渡口，反漢助楚。

漢王派郦食其去勸說魏豹，魏豹不聽。

漢王就派将軍韓信前去攻打，把魏軍打得大敗，俘虜了魏豹，于是平定了魏地，設置了三個郡：河東郡：太原郡、上黨郡。

漢王随即命令張耳與韓信率兵進攻取井陉(ｘｉｎｇ，河北石家莊），攻打趙國，殺了陳餘和趙王歇。

第二年，封張耳為趙王。

漢王的軍隊駐紮在荥陽（河南鄭州）南面，修築了一條兩旁築牆的甬道，和黃河南岸相連接，以便取用敖倉的糧食。

漢王跟項羽互相對峙，持續了一年多。

項羽多次侵奪漢甬道，漢軍糧食缺乏，項羽于是包圍了漢王。

漢王請求講和，條件是把荥陽以西的地方劃歸漢王。

項王不答應。

漢王為此而憂慮，就用陳平的計策，給了陳平黃金四萬斤，用以離間項羽和範增君巨之間的關系。項羽便對亞父範增産生了懷疑。

範增當時是勸項羽務必攻下荥陽，當他遭到項羽猜疑後，非常憤怒，就托辭年老，希望項羽準許他乞身告退回鄉為民，結果還沒有到彭城就死了。

漢軍糧草斷絕，就趁夜把二千多名身披铠甲的女子放出東門，楚軍從四面追趕圍打。這時将軍紀信乘坐着漢王的車駕，假扮成漢王的樣子诳騙楚軍。

楚軍一起高呼萬歲，都到城東去觀看，因此漢王才得以帶着幾十名随從騎兵從城西門出去逃走。

出城之前漢王命令禦使大夫周苛、魏豹、枞（ｃōｎｇ，聰）公守衛荥陽。那些不能随從漢王出城的将領和士兵，都留在城中，周苛、枞公商量說：“魏豹是已經反叛過的侯國之王，難以和他一起守城。”

于是把魏豹殺了。