漢昭帝很年輕就死了，沒有留下兒子。大臣們一起討論該立誰為皇帝，從血緣關係上來看，首選顯然應該是漢武帝的兒子，當時漢武帝的兒子裏麵還在世的隻有廣陵王劉胥，但廣陵王品行不好，正是因為這樣，當年漢武帝才沒有把皇位傳給他。
有一個郎官上書說：“廣陵王不守正道，不能立為皇帝。當年周太王舍棄太伯而立王季，周文王舍棄伯邑考而立武王，都隻是看誰適合當君主。也就是說即使廢除長子而立幼子也是可以的。”他的話讓霍光聽了很舒服，就把這個人的奏章拿給丞相們看。後來商量來商量去，覺得昌邑王劉賀是個合適的人選，於是奉皇太後的詔令，派人去迎接昌邑王劉賀為帝。
昌邑王劉賀是武帝的孫子，由於父親死得早，從小缺少管教，所以養成了一身的壞毛病。他當上皇帝後成天遊手好閑，隻知道和親信們作樂，根本不理政事。霍光看見這種情況心裏非常著急，去問田延年，現在應該怎麽辦。田延年說：“大將軍您是國家的支柱，現在既然知道現任皇帝不行，那為什麽不去向太後說明情況，另立一個賢明的呢？”
霍光問：“我確實想過這麽做的，但不知道古代有沒有這種先例？”田延年說：“伊尹當年做商朝相國的時候，因為商王太甲昏庸，於是把他廢掉，以安定社稷，後世都認為他辦得對。如果大將軍能夠做這事的話，那您就是當代的伊尹啊！”霍光在田延年的官職上麵又給他加了個給事中的職位，讓他有進宮議事的資格。然後和車騎將軍張安世策劃好，召集大臣們到未央宮議事。霍光說：“昌邑王行為**，我怕他會給國家帶來危害，現在應該怎麽辦？”大臣們大驚，誰都不敢說話。田延年站出來手扶著劍柄說：“當年先帝把太子托付給大將軍，就是為了能讓漢室江山長久地保持下去。現在皇上昏庸無能，大將軍也是為了江山社稷著想。如今大將軍還在，還能夠維持下去。今後大將軍死了的話，漢室江山萬一斷送，我們拿什麽臉麵去見先帝呢？今天的討論不能有耽擱，誰要是讚成得晚了些，我就請求讓我殺了他！”霍光向大家謝罪道：“你們對我的責備是對的，現在事情落到這步田地，完全是我的過失。”大臣們見事已至此，隻好表示讚成霍光的提議。大家一起去見太後，向她控訴昌邑王的種種惡行。昌邑王在繼承皇位後，不但不能做個明君，反而罪行累累，光是私底下派人征調違禁物品就有1127次之多，更別提那些荒**無道的勾當了。太後聽了之後非常生氣，趕到未央宮，下令守門的士兵不準放昌邑王手下的人進來。昌邑王還不知情，像平常一樣來朝見太後，他一進去，門就馬上關住，他的親信就被關在了外麵。昌邑王問霍光是怎麽回事，霍光解釋這是太後的命令。昌邑王很糊塗，沒有放在心上。
霍光像
霍光派車騎將軍張安世將昌邑王的親信全部抓了起來，然後派專人看守昌邑王。而昌邑王到現在還不知道自己就要被廢黜了，等到太後派人召見他時，他才有點感到害怕。尚書令當著太後和大臣的麵公布了昌邑王的罪狀，並代表大臣進言，要求廢掉昌邑王。太後同意了。
昌邑王不甘心放棄皇位，他喊道：“聽說天子身邊隻要有敢於進言的大臣，即使天子無道，也不會丟掉天下！”霍光反駁道：“太後已經下令把你廢黜了，現在哪兒來的天子？！”於是走過去把他身上代表皇帝的飾物卸了下來，轉交給太後。到了這個時候，昌邑王才徹底接受了現實。霍光把昌邑王送到他當諸侯王時在首都的住宅。
昌邑王被廢後，霍光召集眾大臣商議立誰為帝，討論了半天，最終大家認為當年被漢武帝廢掉並殺害的太子有個孫子流落民間，在民間口碑很好，決定立他為皇帝，他就是漢宣帝。漢宣帝沒有辜負大臣們的期望，他帶領西漢王朝進入了又一個繁榮富強的時期。而霍光為了國家利益，毅然廢黜昏君的故事也流傳了下來。