淩煙閣本為皇宮中的普通閣樓，但因掛有開國功臣的畫像而聞名。北周時就曾建淩煙閣，庾信 《周柱國大將軍紇幹弘神道碑》載：“天子畫淩煙之閣，言念舊臣；出平樂之宮，實思賢傅。”但唐太宗造淩煙閣的事跡最為出名，上淩煙閣也成為很多文臣武將的追求。
貞觀十七年，當時的開國功臣多半已亡故，尚在人世的多已老邁。唐太宗感念他們對國家的貢獻，命閻立本在淩煙閣內描繪了二十四位功臣的圖像，由著名書法家褚遂良題詞，皆真人大小，經常前往懷舊。廣德二年十一月，唐代宗在淩煙閣為郭子儀畫像，以表彰他的興唐之功。
可見，淩煙閣是當時置放開國功臣畫像的地方。後世文臣武將為了取得功績和威名，當然心向往之，這已經構成唐朝文化的一部分。如唐代大詩人白居易《題酒甕呈夢得》詩：“淩煙閣上功無分，伏火爐中藥未成，更擬共君何處去，且來同作醉先生。”詩鬼李賀《南園十九首》詩：“請君暫上淩煙閣，若個書生萬戶侯。”後世也多有“淩煙閣”句，《水滸傳》第五十四回：“且教：功名未上淩煙閣，姓字先標聚義廳。”孔尚任《桃花扇·迎駕》：“不要取笑，日後畫在淩煙閣上，倒有些神氣的。”歐陽予倩《木蘭從軍》第十場：“不求圖畫淩煙閣 ，隻為家邦致太平。”