霍光死后不久，汉宣帝对霍氏家族动手，霍光的儿子霍禹被腰斩，霍去病的孙子霍云、霍山被逼自杀。这还不算完，被当作霍氏党羽一起诛杀的，有几千家之多。

汉宣帝在霍光死后，与上官太后一同到场治丧，并将霍光与汉初开国功臣萧何相比，以皇帝级别的礼仪下葬，允许其陪葬于茂陵。

霍光身后事看似隆重，但霍家的地位却岌岌可危，其实在汉宣帝内心，对尾大不掉的霍家，早就不满久矣。

未央宫宣室殿中，汉宣帝刘询拿着密报翻看，脸上阴晴不定，羊皮纸上密密麻麻记着：霍氏私铸兵器逾万件，霍云与燕地豪强往来书信频繁，甚至连长乐宫的掖庭令都成了霍显的眼线。

霍光在病重弥留之际，上表刘询提出分自己的封邑三千户给霍山，以继承其兄长霍去病的香火。刘询为了安抚霍光，不仅同意所请，还将霍禹迁身为右将军、大司马。

及至霍光死后，刘询开始削夺以霍禹为首霍氏子弟、亲信的兵权。霍家此时若行事低调，尚有转圜的余地，可霍氏诸人不仅不加收敛，反而小动作不断。

霍光的妻子霍显，在里面起了很坏的作用，她对霍禹说：“皇帝正在拔我们的爪牙，未央宫卫尉换成许广汉，长乐宫屯骑校尉换成史高，你这大司马印绶，不过是块废铁。”

霍禹在刺激之下，竟然去见刘询，公然质问说：“陛下近日内连下七道调防令，莫非是信不过霍家。”

刘询强忍怒火，将一卷竹简推至案前，说：“三辅百姓状告霍夫人（霍显），新修的宅子挤占了大街，在修建时，强迫太学儒生参与，连孩童都被抓去喂马 ，可有此事？”

霍禹说：“臣母一心追思先父，定是仆役们自作主张。”

刘询冷笑说：“仆役？那许皇后暴毙当夜，也是淳于衍的仆役擅作主张？”

霍禹踉跄后退，仓惶离开。不久后，刘询下令，皇后霍成君失德，暂时幽禁宫中思过，无诏令不得见人。

消息传来，霍显大惊失色，召来霍氏子弟说：“皇帝把成君宫里的宫女全换成掖庭老妪，还不许我们去见，分明要把霍家逼上绝路。”

霍山说：“调动虎符的铜匣，被魏相亲自守着，兵权已逐渐被许广汉等人掌握。”

霍显突然癫狂大笑，接着恶狠狠的说：“魏相、许广汉，还有那个许平君生的什么太子，一个都别想活。”

七月的一天，霍显与霍禹、霍山及霍氏女婿度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平和霍家监奴冯子都等谋议，准备请太后置酒宴，让丞相魏相、许氏，史氏等赴会，然后在席间诈称奉太后旨意将他们斩首，再废黜汉宣帝，杀掉太子，立霍禹为天子。

然而，失去兵权的霍家，其一举一动早就在刘询派去眼线的关注下，霍显策动霍禹、霍山等人谋反，无疑是加速了霍家的覆灭。

刘询听到消息后果断出手，将霍家诸人抓捕。

刑场上，霍禹被按在铡刀下时，恍惚听见人群中传来童谣：“霍氏之祸，始于椒房；毒后谋逆，灭族未央。”

与此案相连坐而受到诛灭的有数千家，几个月后，刘询见处理得差不多了，又下诏称：受霍氏欺骗、连累有罪的官吏，只要是未被逮捕仍然在职者，一律放除其罪过，继续任职，不予追究。

刘询诛灭霍家，主要有三方面原因，一是，霍光掌权时间过长，在朝廷中大量安置亲党，使得满朝文武很多都与霍家有关系，朝廷大事基本由霍光决定，甚至连皇帝的废立都掌控在他手中。

刘询对霍光表面信任，实则内心忌惮，史书称与之同车时 “若有芒刺在背” 。霍光本人也不自知，在临死前还舍不得放弃手中权力，想移交给儿子霍禹，给了霍禹有一项重要的权力领尚书事”，名义上是帮助皇帝处理政务，其实是所有大臣给皇帝的上书，都要先通过霍禹，霍禹觉得合适的才给刘询看。

霍禹又是个跋扈之人，他的所为，让刘询很是厌恶，只是碍于霍光的权势，等到霍光一死，霍禹的好日子也就到头了。

二是，霍显为了让女儿霍成君成为皇后，买通医官淳于衍，在许皇后再次怀孕时下毒，致使许皇后中毒而死。许皇后死后，刘询迎娶了霍成君，表面夫唱妇随，实则另有心思。

有说法称霍光死后，刘询获知了许皇后之死的真相，这才决定对霍家下手。其实，以刘询的城府和聪明，怕是当时就知道了许皇后的死因，只是不便发作，选择了隐忍，但复仇的种子却在心中埋下。

许平君是刘询当平民时的妻子，两人患难与共，感情极深。从霍显贸然的毒死了许平君开始，可以说无论霍家今后是否跋扈，都难以善终了。

三是，在霍光死后，霍家不知收敛，还有了谋反篡位、毒杀太子的心思，在这种情况下，其结局只能是覆灭了。

前两个原因是主因，后一个原因，只是霍家覆灭的导火索。

刘询诛灭霍家时，下手太狠，牵连过多，许多人是霍光主政时的干才、能吏，官声和人品都不错，遭牵连被杀且家人都未能幸免，孰为可惜。