元平元年（公元前74年）四月，漢昭帝駕崩，享年二十一歲。昭帝突然發(fā)病死去，這使得主管帝陵營建的官員非常狼狽，因為皇帝的陵墓還沒有認真營建，于是他們趕快租用了三萬輛牛車，從渭河灘拉沙，構筑地下墓室。倉促歸倉促，昭帝平陵的隨葬品仍是十分豐富的。當時由霍光主持昭帝喪事，墓室中金銀珠寶，應有盡有。
國不可一日無君，霍光在處理好昭帝喪葬事宜之后，便開始著手選拔新君。昭帝并無子嗣，他死后，朝中許多大臣主張立他同父異母的哥哥廣陵王劉胥為帝。但是霍光知道劉胥品行不端，所以當時漢武帝才未立他為帝?，F(xiàn)在由自己輔政，反而選立一個失德的皇帝，怎么對得起死去的漢武帝呢？霍光只得再冒得罪許多大臣的風險，決定另選繼承人。
他和皇太后商量，迎立漢武帝之孫昌邑王劉賀為帝。征和三年（公元前90年），李廣利、劉屈氂等因為策劃謀立昌邑哀王劉髆為太子，被漢武帝識破而滅族。后元元年（公元前88年）正月，劉髆駕薨，他五歲的兒子劉賀成為昌邑王。劉賀卻是個不爭氣的人，剛即位就做了很多荒唐事。
霍光甚為為難，這個皇帝是在他的主持下冊立的，如此貽誤社稷，讓霍光感到既對不起武帝的托孤之恩，亦對不起先帝的賢明名聲。
朝中早年的輔政大臣，都已經(jīng)在立燕王一事中伏誅，而現(xiàn)在的丞相又是一個明哲保身、難堪大任的人，因此，只有霍光的好友，當朝大司農(nóng)田延年可以與之商量定議。
田延年對霍光說道：“大將軍乃國之中流砥柱，既然已知昌邑王不適合做君主，不如稟報太后把他廢掉，另選一個賢明之人當君主好了。你應該向商朝的伊尹學習。做一個安定漢室社稷的重臣?！?p> 此事，還有一段淵源：霍光要廢肆意妄為、不能擔當國家社稷的劉賀，又怕日后擔“忤逆”的罵名，便想援引古例，看看歷史上有沒有這樣的典故，于是向田延年問了一句“于古嘗有此否”。沒想到即此一問，也就開口見喉嚨，叫人看出“光不涉學”了，“不學無術”一說就是這樣來的。此后，歷代政治家都試圖避免讓別人看到自己的深淺，而且高官和學者一般都能畫上等號，當然，除了那些開國元勛外。
霍光見此，其實心中已經(jīng)有了定議，只是擔心僅僅憑借他二人之勢，不免會落人口實，霍光對于政治從來都是謹小慎微，他怕田延年的意見不合禮法，最終還是選擇和其他兩個重要大臣商量。
其實，在大家的心目中，對于劉賀的胡作非為，都已經(jīng)產(chǎn)生了不滿，于是，眾大臣一致決定要廢掉這個無道昏君。霍光和群臣一起去見太后，陳述廢掉昌邑王劉賀的理由，太后也同意了眾臣的意見。于是只當了二十七天皇帝的昌邑王就被廢黜了。
他也是漢朝歷史上唯一沒有帝號的皇帝。
后世統(tǒng)稱其為漢廢帝！
昌邑王既然被廢黜，皇位又空了出來。忠心輔政的霍光，日夜為此焦急不安。光祿大夫丙吉上書給霍光，推薦寄存在民間的漢武帝的曾孫劉病已。劉病已，后改名為劉詢，字次卿。戾太子（劉據(jù)）孫，史皇孫劉進子。出生數(shù)月，即逢劉據(jù)巫蠱事件。劉詢被祖母史家所收養(yǎng)，一直居住在民間。元平元年（公元前74年）昌邑王被廢后，大臣中有人進言說，皇曾孫劉詢有德有才，可接回宮中繼承皇位?；艄庖鄬⒃冏隽艘欢螘r間的考察，發(fā)現(xiàn)此人心懷仁慈、志向遠大，遂攜同大臣將他從民間迎入宮中，先封為陽武侯，將此事稟報皇太后，接著就把劉詢接回宮中，擁立為皇帝，他就是有名的賢君漢宣帝。漢宣帝于元平元年（公元前74年）七月即位，時年十八歲，第二年改年號為本始。
被廢的劉賀，此后的生活可謂潦倒不堪，霍光新?lián)砹⒌臐h宣帝劉詢，在即位之后，心底到底有些忌憚，他害怕劉賀會不甘心，進而產(chǎn)生反叛的心思。
于是，劉詢在即位的第二年就讓山陽太守張敞專門監(jiān)察劉賀，此刻劉賀已經(jīng)被軟禁，張敞發(fā)現(xiàn)，劉賀終日沉迷酒色，早已經(jīng)變得毫無斗志。劉詢知道劉賀從此難以成為自己的敵手，遂生出惻隱之心，沒有傷害他的性命，而是打發(fā)劉賀回到山東昌邑國，過著被監(jiān)視的日子。而劉賀帶去長安的兩百多個官員除了三個正直的人，其他的都被斬首。
元康二年（公元前64年），為防止劉賀死灰復燃，宣帝遂下詔給山陽太守張敞道：“謹備盜賊，察往來賓客。毋下所賜書。”
第二年，劉賀被貶斥為?；韬?，封地就在江西省永修縣一帶。此時，他已經(jīng)被解除了軟禁，但皇帝和霍光卻依然對其進行著秘密監(jiān)督。一次，揚州刺史“柯”就上報朝廷一件事情：劉賀與一個叫孫萬世的人交往。
孫萬世問劉賀：“在被廢除皇位前，君為什么不堅守內(nèi)宮，關閉宮門，斬殺霍光，卻聽憑他們奪取皇位璽綬呢？”
劉賀說：“是啊，當時太年幼，真是大大的失策啊?！睂O萬世又希望劉賀做豫章王，絕不要一直做這么普通的?；韬睢①R說：“道理是如此，但是這話不宜說啊?！?p> 劉詢因此震怒，下令查辦劉賀，其實劉詢已經(jīng)看出，劉賀只是說說而已，根本沒有實力反對自己的統(tǒng)治，遂只削減了其封地的人口和賦稅。四年之后，劉賀在憤慨中死去，終年三十四歲。
霍光擁立了宣帝劉詢，更力保其帝位，為朝廷鞠躬盡瘁。宣帝即位后，為了表彰霍光的擁立之功，對其大為嘉獎。此后，霍光便忠心耿耿地輔佐年輕的宣帝，為其獻計納策，以求君主圣明。漢宣帝在他的輔佐下，繼續(xù)遵照“與民休息”的方針來制定政策，處理國事，使西漢王朝再次興盛，史稱“昭宣中興”。這段時期西漢王朝能夠再次興盛與重臣霍光二十多年的忠君輔政不無關系?；艄鈱h室忠心赤膽，且知人善任，做事果斷，是個頗具智慧的謀略家。他上任后調(diào)整了武帝末年賦稅無度的政策，與民休息，緩和了朝廷與百姓的矛盾，所以漢代的經(jīng)濟出現(xiàn)了又一個發(fā)展時期。
地節(jié)二年（公元前68年），霍光病逝。漢宣帝和皇太后為感念其為漢室立下的汗馬功勞以極其隆重的禮儀親自為霍光主持喪禮。死后的霍光被埋葬在茂陵漢武帝陵墓的旁邊，這正體現(xiàn)了漢室對這位忠心輔政安定社稷的重臣的尊崇。
霍光已經(jīng)死去，但他身后卻留下了一個足以顛覆朝野的家族。