岳飛與兒子岳雲， 被秦檜以“莫須有”的罪名處死後， 秦檜並沒有甘休， 還想著各種法子來折磨岳飛的妻子和兒女， 以防他的兒女報復。
岳飛有兩房妻室， 一個是劉氏(不詳)， 另一個是李氏， 共生育五男二女， 嶽雲死後， 就剩下四男二女。
李氏， 時稱秦國夫人， 岳飛死時， 她才41歲。 當岳家遭遇家庭變故後， 她帶著嶽飛的兒女被流放到南粵， 他們翻山涉水來到南粵大地， 舉目無親， 異常艱苦， 還受到朝廷的嚴厲地監視， 每天都有沉重的勞作， 人身自由受到限制。 就算身處如此惡劣的處境， 李氏都沒有背叛嶽飛， 沒有半句怨言，
長子岳雲死後， 次子岳雷的命運堪稱悲慘。 岳飛被關在獄中時， 主審官曾找來岳雷照顧他的父親， 後來， 岳飛死時， 他才16歲， 之後他就被流放到南粵惠州， 關在一座寺廟裡， 終日不得自由， 後來鬱鬱而終。 他只是一個涉世未深的少年， 青春還未綻放， 人生就已經落幕了。
三子岳霖， 岳飛死時， 他年僅12歲， 母親李氏帶著他和7歲嶽震、3歲的嶽靄一起流放到南粵， 被軟禁在一個寺廟的破茅草屋裡， 生活頗為艱辛。
另外， 嶽飛有兩個女兒， 一個叫岳安娘， 她早早出嫁， 史料並未記載詳細情況；另一個女兒叫岳銀瓶， 她自小有正義感， 知書達禮， 嶽飛被害死之後， 她義憤填膺， 親筆上書朝廷， 但都石沉大海， 於是， 她表示與污濁抗爭到底，
岳飛被正名之後， 岳家終於重見天日， 岳飛的後代不用再背負“叛將之後”臭名， 而是“忠臣之後”， 榮耀滿門。 不久後， 三子嶽霖入朝做了欽州知縣， 四子嶽震、五子嶽靄也入朝做官， 岳飛也成了忠勇仁義的化身， 萬古留芳。