在抗戰爆發之後， 面對著日本侵略者的入侵， 共產黨和國民黨再次達成合作， 全民族抗戰就此開始。 不過那個時候雖然說是國共合作， 但是蔣介石心裡是非常不爽的， 於是一些國軍打日本人跑的比兔子還快， 但是打起八路軍、新四軍卻比誰都來勁， 他們不斷製造各種摩擦， 最嚴重的一次就是“皖南事變”。
1940年陳毅率領的新四軍7000多人擊敗了所謂的政府軍89軍， 殲滅敵人1萬多人， 這也就是著名的黃橋戰役。 不過這場戰役雖然是一場大勝， 但是卻為後來的皖南事變埋下了伏筆。 後來蔣介石命令八路軍和新四軍在一個月之內要到達黃河以北。
兩個月之後， 駐紮在皖南的新四軍9000多人在葉挺和項英的帶領下向北進軍， 1941年新四軍到達了皖南茂密的叢林中， 在這裡新四軍遭遇了國民黨軍隊的伏擊， 他們被國民黨軍隊團團圍住。 新四軍在包圍圈之中苦戰七天七夜， 最終只有2000多人突圍出去， 新四軍損失了7000多人， 副軍長項英被殺， 軍長葉挺被國民黨當局扣押。
皖南事變震驚全國， 經過這次事變， 新四軍損失慘重， 高級將領損失殆盡， 中央也命令新四軍開始修整擴充自己的實力。 中央同時還命令陳毅為新四軍的代理軍長， 劉少奇擔任政委。 皖南事變的時候， 劉少奇還在蘇北， 他知道這件事之後立即和中央聯繫， 請求前去支援新四軍的重建。
劉少奇到達新四軍之後首先便開始整頓編制， 他把新四軍整編為4個師， 蘇北的部隊是第一師， 皖東的是第二師， 李先念手下的部隊為第三師， 蘇南地區的部隊為第四師。 在這次整編之後， 新四軍開始實行三三制的編制。 整編當然是為了能夠讓部隊更好的發展你， 更好的擴張自己的實力， 而且還能有效的控制住自己的區域， 是一個相當有效的辦法。
之後為了不讓皖南事變的悲劇再次發生， 劉少奇還對新四軍的士兵做了大量的思想工作， 經過一段時間的發展， 新四軍已經擁有了7個師， 攻擊9.6萬人。 四年之後， 在劉少奇的努力下， 新四軍的發展並沒有因為皖南事變而被打斷， 反而發展的更加迅速， 他們在抗戰結束的時候已經擁有了30多萬人。