永徽六年（655年）， 武則天終於當上了皇后。 按常理來說， 武則天當了皇后， 武家的兄弟們應該是“雞犬升天”了。 但奇怪的是， 武則天當了皇后之後， 武家的兄弟們反而倒了大黴。 這又是怎麼回事呢？
武則天的父親武士彠是太原起兵的開國功臣， 與李淵的關係很不錯。 唐朝定都長安之後， 武士彠升任庫部郎中。 但就在此時， 武士彠的夫人相裡氏去世了。 為了犒勞功臣， 李淵親自做媒， 讓武士彠娶楊氏為續弦的妻子。
楊氏是隋朝宗室宰相楊達的女兒， 以武士彠的出身來講， 能娶到楊氏算是高攀了。 楊氏嫁給武士彠後生了三個女兒，
貞觀九年（635年）， 武士彠去世。 但在武士彠去世之後， 武士彠生的兩個兒子武元慶、武元爽以及兩個侄子武惟良、武懷運為爭奪家產， 無禮于後母楊氏， 將楊氏和武則天姐妹趕出家門， 讓少年武則天吃了很多苦。
另外， 唐高宗立武則天為皇后主要是為了從長孫無忌手中奪回權力， 對武則天的愛是次要原因。 所以武則天清楚不能讓唐高宗覺得自己是皇權的最大威脅。 而不讓唐高宗感到威脅的一個好方法就是主動收拾自己的本家兄弟。
於是武則天以當年的家庭恩怨為理由， 將兩個哥哥（武元慶、武元爽）和兩個堂兄（武惟良、武懷運）發配到窮山惡水去當地方官。
武元慶後來死在偏遠地方官的任上， 而武元爽更為倒楣， 最後被流放到振州（今海南三亞）而死。 直到唐高宗去世， 武則天需要娘家親戚幫自己當皇帝， 武則天才把侄子武承嗣、武三思召回京城， 武家才算翻了身。