霍光之子霍禹繼承了霍光的博陸侯爵位之後，他的母親顯便將霍光生前自定的墓地規製改易擴大。建起了有三個門洞的石闕，修築了神道，墓地北端臨近昭靈館，南端逾出承恩館，還大肆修飾祠堂，使塚上的輦閣之道與永巷相連，將一些平民出身的婢妾幽禁於墓園之中守塚，還擴修宅院房屋，私自仿製皇帝的輦車，以黃金塗飾、加畫繡的車墊，用熟牛皮包裹車輪，其內墊加絲絮。顯坐在輦車上，讓奴婢們用五彩絲帶拉著在宅院中遊樂。
霍禹、霍山也都修飾整治第宅，在平樂館內飛馬馳騁。霍雲好幾次托病不入朝議事，私下裏帶領眾多的賓客在黃山苑中張圍行獵，卻指使其家奴上朝謁見。大家都敢怒不敢言。顯及其諸女常常不分晝夜地出入太後所居的長信宮，沒有任何限度。
先前，霍府的家奴總管馮子都很討霍光的喜歡，霍光還時常與他一起商議事情。等到顯守寡獨居之後，她便與子都勾搭成奸。霍光去世後，宣帝開始親自處理朝廷政務，禦史大夫魏相又加官給事中。
顯對禹、雲、山等人說：“禦史大夫在皇帝身邊用事，日後如果有人離間挑撥，你們還來得及救嗎?”
後來，霍府與魏府兩家的家奴因為搶道而發生不愉快的爭執，霍氏的家奴闖入禦史府，非得要踏壞禦史府的大門不可，直到禦史大夫跪下給他們磕頭陪罪方才罷休。
有人把這件事告訴了霍家，顯等這才開始憂慮起來。
此後不久，魏相被拜為丞相，宣帝好幾次在退朝之後召他議事，平恩侯和侍中金安上等人也可隨意出入宮禁。
當時霍山雖然還兼管尚書事務，但宣帝卻下令允許吏民可以將奏章密封直接奏上，不必再經過尚書的處理。這樣一來，官員們可以無所顧忌地各盡其言於皇帝。
霍氏對此非常不滿。
宣帝即位不久，就把他的妻子許氏立為皇後。顯疼愛其小女兒成君，為使成君尊貴，顯暗中指使禦醫淳於衍乘許皇後分娩之際，用毒藥將許皇後害死。然後又勸說霍光把成君送入後宮，代立為皇後。許皇後暴死後，官府將侍產的禦醫統統抓了起來，指控淳於衍等人治療不力，將他們關進監獄，嚴加審問。
顯擔心事情敗露，便將實情全都告訴了霍光。
霍光聽了大為吃驚，他曾經想自己出麵檢舉揭發，但又有點於心不忍，因此而顯得猶豫不決。正好有關部門將審訊的情況報了上來，霍光便批示不再追究淳於衍的罪行。
霍光死了之後，這件事逐漸走漏出風聲，宣帝也就有所耳聞，但還未驗其真偽，所以他先將霍光的女婿、度遼將軍未央宮衛尉平陵侯範明友調任光祿勳，將霍光的二女婿、諸吏中郎將羽林監任勝放出京師任安定郡太守；幾個月後，又調任霍光姐姐的女婿、給事中光祿大夫張朔為蜀郡太守，調任霍光孫女婿之一的中郎將王漢為武威太守；不久，又將霍光的長女婿、長樂宮衛尉鄧廣漢調任為少府。宣帝又詔令霍禹改任大司馬，戴小冠，不給印綬，解除了他的右將軍職務並遣散其舊有兵卒官吏，隻是名義上使霍禹和霍光一樣官居大司馬，又收回了範明友的度遼將軍之印綬，僅僅保留了光祿勳的職務。霍光的中女婿趙平原為散騎騎都尉光祿大夫，有領兵之權，此時也被宣帝解除了騎都尉之職。所有統領胡越騎兵，羽林軍及兩宮衛尉等重要軍職和部隊，一律都換由宣帝所親信的許、史子弟取而代之。
霍禹為大司馬，稱病在家。他以前的幕府長史任宣前來探問。霍禹說：“我哪裏是在生病!皇上不是靠了我家將軍的擁立就成不了天子，可現在大將軍的墳土沒有幹，他就在盡力疏遠我家之人。反過來卻任用許、史兩家，奪去我的實權，讓人至死難以理解。”
任宣見霍禹懷恨甚深，就開導他說：“大將軍的時代已經過去了!他掌握著國家大權，生殺予奪易如反掌。廷尉李種、王平、左馮翊賈勝胡及車丞相的女婿少府徐仁等人，都因違背了大將軍的意願而被治罪，死在獄中。而史樂成原是貧寒出身，隻因為大將軍喜歡他，也就能官列九卿，富貴為侯。當時朝廷百官都樂意為王子方、馮子都二人效力，對丞相卻視若不見。每家都有自己的盛衰之時，現今史、許兩家與天子骨肉相親，他們尊貴有勢，不是很自然的嗎?大司馬若是因此而心懷怨恨，我認為是不明智的。”
禹聽了默然不語。幾天之後，便開始辦公治事了。
顯及禹、山、雲等人看到霍氏權勢日漸侵削的衰勢，幾次相對哭訴，發泄怨恨。
霍山說：“現在丞相掌權管事，皇上對他言聽計從。丞相把將軍在世時定下的法令都給變換了，又大肆宣揚大將軍的過失。還有那些儒生，最好口出狂言，說話無遮無攔，大將軍在世時就十分討厭他們。但現在陛下卻偏偏喜歡和這些人長談細論，讓他們上書議論國事。矛頭所指，多在我家。曾有一封上書說：大將軍時是主弱臣強。指責大將軍獨攬大權，專斷政事。現在朝廷又重用大將軍的兄弟親屬，他們愈發驕縱恣意，恐怕將來是要威脅皇帝的統治的。這份上書言辭尖銳激烈，我便將它摒除不奏。誰知以後的上書之人更為狡猾，全都用密封奏本，皇帝馬上就派中書令出宮調取，不再先由尚書過目。這明顯的是愈發不信任我們了。”
顯問他：“丞相三番五次挑我家的毛病，難道我們就不能給他安個罪名嗎?”
霍山說：“丞相廉潔公正，怎麽給他安罪名?而我們家的兄弟和女婿們卻多是言行不謹。我還聽到，社會上紛紛傳言，說是我家人毒死了許皇後，是這樣的嗎?”
顯聽了很害怕，便對禹等說了實話。
他們聽了大吃一驚，埋怨顯說：“既然是果真有此事，你怎麽不早點告訴我們。皇上現在拆散退斥我家諸婿，就是因為他們知道了此事。這可要誅連九族啊!怎麽應付呢?”
就這樣，霍氏開始圖謀不軌了!
霍雲的舅舅叫李竟，李竟有個朋友叫張赦。張赦看到霍雲家人惶惶不安的樣子，就對李竟說：“現在是丞相和平思侯兩個人當權主事，可通過太夫人轉告太後，先除掉他們。然後再廢去天子，就隻是太後一句話的事情了。”
長安人張章告發了這件事，宣帝讓廷尉處理。
執金吾要逮捕張赦，後來宣帝下令停止逮捕。
霍山等人更加惶恐，商議說：“這是皇上不願使太後難堪啊!但現在已經得罪了天子，加上弑殺許皇後的事，陛下就是再寬容，也擋不住他身邊的近臣的挑拔煽動，所以過一段肯定還要繼續追查；一旦查清，我們就要被滅族除根了。還是我們先動手吧。”
他們馬上讓眾多女兒各自回到夫家，將霍山等人的打算告訴給自己的丈夫。這些人聽了都說：“是禍躲不過，幹吧!”
恰巧，這時李竟因私下與諸侯王來往而獲罪入獄，在供詞中涉及到了霍氏的陰謀。宣帝下詔，說霍雲、霍山不宜再在宮中值宿警衛，將他們罷官歸家。同時，詔書還對霍光諸女婿慢待太後及馮子都屢次違法之事予以譴責。
山、禹等人陷入極端恐慌之中。
顯夢見自己家的院中井水翻湧，橫溢於庭院，火灶支到了樹上。霍雲在尚冠裏的住宅也是屋門自壞。在巷頭居住的人們明明看見有人爬到霍雲家的屋頂上，揭下瓦皮往地上扔，走近一看卻什麽都沒有。霍禹在夢中聽見隆隆的車騎之聲，是前來抓他的。霍氏全家都不勝憂愁。
霍山說：“丞相擅自減少了宗廟祭祀所用兔子、羊羔和青蛙數量，我們可以借此而興師問罪啊。”
他們計劃由上官太後出麵宴請博平君，讓丞相和平恩侯前來陪同，再由範明友、鄧廣漢承太後的旨意誅殺此二人，借勢便廢了天子，立霍禹為皇帝。
商議妥當，正待行動時，宣帝任命霍雲為玄菟郡太守，任命太中大夫任宣為代郡太守，霍山則因泄露機密獲罪。
顯上書說，願意獻出城西的住宅及一千匹馬為霍山贖罪，宣帝沒有同意。這時，霍氏政變的陰謀也被揭露出來，霍雲、霍山、範明友畏罪自殺，顯、禹、廣漢等人被捕。霍禹被腰斬，顯及諸女、兄弟都被處以死刑。惟獨剩下霍皇後一人活了下來，但也被廢，幽禁於昭台宮。
受霍氏牽連遭誅滅的有數幹家之多。
宣帝又頒布詔書，封首先告發霍氏密謀的張章為博成侯、董忠為高昌侯、曹惲為平通侯、金安上為都成侯、吏高為樂陵侯。
早在霍氏隆盛之時，茂陵一位姓徐的儒生就斷言霍氏必亡。他說：“奢侈之人必不恭順，不恭順則必然會欺侮主上，而欺侮主上是大逆不道的行為。位在他人之上，勢必會招來眾人的妒忌。霍氏操縱國家大權為時已久，故妒忌之人勢必不少。既使遭大家的妒忌，又有大逆不道的行徑，哪有不滅亡的道理。”於是他上書言道：“霍氏現在是過於尊盛。陛下倘若真心愛護他們，就應該選擇合適的機會，削弱其權勢，不要使他們走上毀滅之路。”
徐生連續寫了三份這樣的奏書，都未見答複。
後來霍氏被滅族，那些告發霍氏罪狀之人都因功封侯。
有人為徐生鳴不平，上書宣帝說：“我聽說過這樣一件事，有一個人到某家去拜訪，看到這一家的火灶是直突，灶的旁邊還堆放著許多木柴，他便對主人說，應當將火灶改為曲突，把木柴挪遠一點，要不然很容易發生火災。主人聽了之後，根本沒有什麽應答。
沒過多久這一家果然失了火，領居們都來救火，僥幸將大火給撲滅。於是這家主人便殺牛買酒，設宴款待眾人。那些被火燒傷的人被請至上席，其餘人也都按功勞大小就座，單單不請提醒他改灶徙薪之人。
有人對他說：‘假使當初您聽了那位客人的話，就不會發生火災，也用不著今日的這樣破費。
可是您今天大請賓客，論功入座，曲突徙薪之人卻被忘在腦後，焦頭爛額之人奉為上賓，這不合適吧。’主人聽了，這才恍然大悟，便把那位客人請來赴宴。
“今有茂陵人徐福，曾經幾次上書提醒陛下，霍氏將會有變故，最好能防患於未然。假若當時聽從他的意見，那麽不僅陛下可以免去分土封侯的開支，而且大臣們也不致於落個犯上作亂、族夷宗滅的下場。現在事情已經過去了，可是隻剩下徐福一人有功未賞。希望陛下明察這件事情，高度重視曲突徙薪所獻上的良策，使其功在焦發灼爛者之上。”
於是，宣帝賜給徐福十匹帛，後來又讓他做了郎官。
宣帝即位之初去高廟參拜，大將軍霍光驂乘，宣帝內心對他又敬又怕，猶如芒刺在背，感到十分緊張。後來車騎將軍張安世代替霍光驂乘，天子舉止從容不迫，四肢舒展，顯得很是安和。霍氏宗族全被誅滅，所以民間流傳這樣一句話：“威震主者不蓄，霍氏之禍，萌於驂乘。”
成帝登基後，為霍光安置了百戶守塚人家，命令吏卒以時祭祀。元始二年，也就是公元2年，平帝又封霍光堂伯父兄弟的曾孫為博陸侯，國邑一千戶。