1946年9月10日， 蔣介石令第七軍、整編七十四師和第二十八軍向我華中解放區首府淮陰發起全面進攻， 淮陰告急。 在此之前， 陳毅指揮了泗縣之戰。 當時， 在泗縣城堅守的敵軍有兩個團。 在泗城戰役之前， 我軍剛打完朝陽集的戰鬥， 殲敵5000多人， 部隊比較疲勞。 故山東野戰軍參謀處和華中分局的鄧子恢、張鼎丞都不同意陳毅攻打泗城的決定。 但陳毅偏聽於少數人的意見， 終於釀成攻城失利， 我八師損失嚴重， 士氣受挫。
泗城失利之後， 中央考慮陳毅身為山東軍區司令員， 要統籌指揮山野和華中野戰軍， 兼顧魯南、蘇中和膠濟3個戰場，
9月11日， 中央命令剛取得蘇中戰役大勝的華中野戰軍司令員粟裕， 率主力火速從蘇中開赴淮陰增援。 從蘇中淮安到淮陰約250公里， 一路水網， 既少陸路， 又少船隻， 且雨水不停， 阻敵不斷， 一時難以到達。 陳毅率山野部隊抵抗敵人， 激戰至19日拂曉， 敵張靈甫之七十四師突破淮陰城門。 陳毅遂下令部隊撤出淮陰。
9月下旬， 陳毅與粟裕在漣水縣西北陳師庵會合。 陳毅身著半舊軍裝，
陳毅緊緊握住粟裕的手， 激動地說：毛主席來電報， 要我等你來後一起商定下一個戰役。 我們一如既往， 軍事上主要由你考慮， 我給你出出題目。 粟裕連忙說：我還像過去那樣， 盡力當好你的助手。 參謀處的同志看到陳、粟兩人傾心相談， 情真意切， 興奮地議論說：下一仗， 一定旗開得勝！
陳毅、粟裕原都是主張放棄兩淮、不與敵人拼消耗的。 陳毅說：兩淮丟了， 並非壞事。 我在馬背上湊成了幾句詩：誘敵何妨讓兩淮，
9月25日， 新華社華中前線電訊稿， 有粟裕在新四軍主動撤離淮陰、淮安後的一次談話。 粟裕指出：我軍的撤出兩淮， 絕不是我們軍事上的失敗， 而是對蔣軍大規模殲滅戰的開始侵入淮陰、淮安的蔣軍， 終必被殲滅在這些土地上的。 當然， 敵人至死也不會這樣考慮問題。 攻佔兩淮後， 張靈甫得意忘形， 大張旗鼓地慶賀大捷。 蔣介石和他的參謀總長陳誠等也大造輿論，
同時， 粟裕又向中央軍委提出了華野、山野合併的建議。 分析：為了改變華中局勢， 以集中華中、山東兩個野戰軍攻下宿遷， 進行宿北戰役， 得手後再向西擴張戰果。 這樣， 使兩大野戰軍合併， 更有利於指揮作戰。 毛澤東收到粟裕的電報， 非常高興， 對朱德說：粟裕這個同志主意多嘛， 你看他又給我們出點子了。 10月15日， 中央軍委給陳毅等發去電報， 同意山東野戰軍和華中野戰軍合併， 並對兩大野戰軍合併後的人事安排作了明確指示：山野、華野兩軍集中行動， 兩個指揮部也應合一， 提議陳毅為司令員兼政委， 粟裕為副司令， 譚震林為副政委。