蕭山党山的吳姓， 源自山陰州山吳氏。 清朝末年， 黨山有個叫吳廣遂的， 職名慶裕， 字慶行， 又字時宜， 號雲莊。 他從小很有志氣， 七歲時， 叔伯三兄弟分家， 他到嬸嬸家吃了一次飯， 回來後， 母親提醒他， 我們已經各開門戶了， 你還不知道嗎？以後， 嬸嬸再怎麼叫， 他都不肯去吃飯了。
在學校， 吳廣遂好象有些不大聰明， 對讀過的書不理解， 快20歲了也只會算加減法， 對乘除一竅不通， 只是身強力壯， 臂力過人， 黨山的鎮海寺觀音菩薩面前的石香爐， 一隻手就可以舉起來， 拎鹽擔跟平常人拎只空瓶差不多， 黨山一帶的年輕人對他佩服得不得了。
吳廣遂愛好爬山， 東面的馬鞍駝峰山， 西面的六思、杭塢山， 都被他走遍了。
吳廣遂也有三兄弟， 兩個哥哥外出做生意。 因他是小兒子， 人又開竅得遲， 因此， 被留在家裡守產業， 靠搞曬鹽、種田謀生。
勞作之余， 吳廣遂不想虛度光陰， 一有空， 就在燈下練習書法以及算術。 到二十六歲那年， 他豁然大悟， 無論開方、比例， 他都能應用自如。 他喜不自禁， 在寫心得體會時說， 沒有得到算術的要領， 即使天天對著算盤也只能徒費心力；一旦悟透路徑， 登堂入室， 以前的難題其實都是一個早晨就能做好的事。 還說， 朱熹曾說過“向來枉費推移力， 此日中流自在行”， 古人沒有欺騙我啊！從此文思大進。
除《四書五經》等聖賢書外，
咸豐辛酉年（1861年）， 太平軍進犯紹興， 党山一帶米價飛漲， 吳廣遂就糾集了一批志同道合的人， 由他出資到錢塘江對岸的海甯硤石去買米， 由北岸渡錢塘江到新灣， 就地銷售， 保證了糧食供應， 穩定了糧價。 當時， 吳廣遂正年富力強， 而且膽略過人， 雖然沿途幾百里關卡林立， 但大家對他辦事都非常放心。
等到同治中興後，
光緒丙子年（1876年）， 他聯合党山吳氏房頭， 修造昆塘， 沿灣砌石坎， 新建朝南的店面屋七間。 籌集資金時， 有的房頭沒有錢， 就由他出面借貸， 再從每年房屋的租金中付當年利息、歸還本金， 還清本金後房子歸各房所有。 參與各房， 沒有出資的風險， 但享受了房屋的利益， 都誇他為家族做了一件好事。 吳廣遂說， 只有子孫後代能從中得到好處， 他就滿足了。
光緒已卯年（1879年）， 經地方官奏請， 部堂核議吳廣遂為從九品。 他淡泊為人， 不喜歡淩羅綢緞，
吳廣遂少年喪父， 全靠母親一手帶大。 他平時生意很忙， 但只要不出門， 中午一定回來陪娘吃飯， 出門了晚上也一定要回家裡。 到五十來歲時， 他還親自過問母親的衣食起居， 有時母親半夜起床， 他也跟著起床。
光緒辛巳年（1881年）， 吳廣遂的母親不幸去世， 他哭得非常傷心。 說， 我從小死爹， 是娘把我養大， 現在我娘也沒了， 我沒有依靠啦！失聲痛哭的場面， 讓親戚鄰舍都為之動容。
喪禮後， 吳廣遂長期把娘的棺柩放在廳堂上， 連頭連尾共有九年。 每天晚上， 吳廣遂都要到靈前上供。 每次出門， 都要到靈前默告， 我要去什麼地方， 好象母親還活著。
根據母親臨終訓導， 吳廣遂每天吃素， 每年除夕都要點蠟燭守歲到天明。 光緒戊子年（1888年）除夕， 吳廣遂守歲到半夜， 忽聽空中有人在叫他的名字。 他一臉茫然地說， 我的餘生不多了， 沒有為自己的親人下葬我有責任。
到了第二年秋天， 吳廣遂左肩上長了一個惡瘡， 親友們都來看望他， 他卻談笑風生。 彌留之際， 他還時常夢見高山， 為自己沒有替父母找到好的下葬地而哽咽。 臥床三天后， 吳廣遂不幸去世。