抗戰期間， 殺妻出獄後的張靈甫參加了南京保衛戰、徐州會戰、武漢會戰、上高會戰、長沙會戰等重要戰役。 血戰南京時， 張靈甫曾組織敢死隊反擊， 被日軍打成重傷， 膝蓋嚴重骨折， 後來人稱他是“跛腿將軍”。
抗戰勝利後， 張靈甫升任74軍中將軍長兼南京衛戍司令， 被稱為御林軍統領， 是蔣介石的心腹愛將。 1946年， 第74軍改編為整編74師（軍）， 轄整編51旅、57旅、58旅共3萬余人， 張靈甫被任命為師長。
解放戰爭開始後， 1947年3月底， 蔣介石下令國民黨以24個整編師、45萬人， 開始向山東解放區發起大規模進攻。 此時， 對老蔣愚忠的張靈甫急於搶頭功，
1947年5月16日， 我華東野戰軍5個縱隊， 遵照陳(毅)粟(裕)首長的命令， 于下午2時對張靈甫的七十四師發起總攻擊。 3天裡， 全部美式裝備的整編74師3萬餘人全部被我軍全殲， 張靈甫當場戰死。
張靈甫戰死後發生了一事， 粟裕指示：要妥善安葬。 下葬前， 還給張靈甫換上了解放軍的軍服。
在激戰時， 我軍經過激戰後登上了孟良崮主峰七十四師指揮所。 在洞外， 我軍喊話：“趕快投降， 繳槍不殺！”但是七十四師指揮所洞內無動靜。 隨即， 我軍部隊用輕機關槍、湯姆衝鋒槍及手榴彈， 向洞內射擊。 過了一會兒， 洞內有人喊叫：”哎呀！你們不要打了，
聽到敵人投降的聲音後， 我軍將士進去一看。 只見：七十四師指揮所內的張靈甫， 他頭朝東、腳對西， 臥在地， 胸部彈痕累累， 軍裝破汙， 張靈甫戰敗身亡了。
孟良崮戰役結束後， 打掃戰場的第6縱隊特工團遵命將張靈甫的遺體連夜搶運下山。 對張靈甫之死， 陳、粟等華東野戰野首長們， 表現了極大的人道和寬容， 陳毅和粟裕明確指示：第6縱隊要將張靈甫妥善安葬。
張靈甫戰死後， 發生了一件令人稱讚的人道之事， 就是對他進行了厚葬。 當時， 擔任華野6縱副司令員皮定鈞和政治部副主任謝勝坤一同主持了“張靈甫下葬”儀式。 下葬前， 謝勝坤花1000元錢， 購買了一口4寸厚的楸木棺材。 我軍戰士還給張靈甫洗臉，
由於張靈甫戰死時， 軍服破汙不堪， 在下葬時， 又找不到國民黨的將軍服， 於是我軍就給他換了一身嶄新的解放軍軍裝， 張靈甫是身著解放軍的軍服下葬的。
掩埋張靈甫前， 被俘虜的整編74師將校得到了允許， 參加了下葬儀式。 當時， 被俘的一個國軍少將旅長和幾個上校提出：“想最後看一眼師長張靈甫的遺容， 懇請批准。 ”皮定鈞首長對此說：“這些人跟著張靈甫， 現在都當了俘虜了， 還要看看他的遺容， 這感情是難能可貴的。 ”當即同意了。 這幾個國軍將校得到批准後， 顫抖著走到張靈甫的遺體旁， 他們圍成半月形， 跪下後， 痛哭流涕。
張靈甫被安葬好後， 我方戰士還在他的墳前還豎了一塊木頭牌子，