“貌賽潘安”這個詞用來形容美男子再合適不過的了，潘安本人確實長得很英俊，不過可惜的是他品行欠佳，喜歡諂媚權貴，最後把自己送上了死路。
潘安名嶽，字安仁，後人都叫他潘安，他少年時期就以才華橫溢而出名，被稱為神童，說他是和賈誼一樣的天才。很早就被征召到司空太尉府，舉薦為秀才。
潘安的才華和名氣非常出眾，引起了很多人的嫉妒，他因為這個而隱居了10年。後來他出任河陽縣令，仗著自己的才華，覺得這樣的小官很不得誌。當時的尚書仆射山濤，領吏部王濟、裴楷等人都得到了皇帝的賞識，潘安在內心裏對他們有非議，在尚書閣上題寫了歌謠：“在尚書閣的東頭，有一頭大牛，王濟作韁繩套在牛脖子上，裴楷套在後頭，和嶠成天忙碌不得休。”表達了自己的不滿。
後來潘安調任為懷縣令，當時許多當地人因為經商而放棄了農業，許多亡命之徒都跑到旅舍去避難，破壞法律法規。皇帝下詔取消旅舍，每十裏路就設立一座官辦的旅舍，讓貧窮人家的老人和小孩看守，派小官主持，按照普通旅舍那樣收費。潘安針對這件事上書議論，認為旅舍製度由來已久，為百姓提供了方便，所以旅舍不應該被取消。至於開辦官辦旅舍，他認為那些違法犯紀的事多數都發生在偏僻的地方，如果連續十裏路都沒有人煙的話，不法之徒就要幹壞事了，如果道路相連，旅舍又多的話，不法之徒就會害怕而不敢亂來，所以旅舍也起到了維護地方治安的作用，官辦旅舍密度不夠，起不到這種作用。而且趕路的人都要多走路，吃飯休息都選在傍晚或者早上，尤其夏天，還得連夜趕路，如果規定旅舍早早關門的話，客人不能及時趕到，那麽他們就隻能在路邊休息，容易導致強盜搶劫。如果以旅舍經常破壞地方教化為理由，派官吏守在旅舍門口，那誰還敢來投宿？現在那些小官和弱者獨自占有旅舍的收入，憑借手上的權力，以非法手段獲利的現象就會越來越多。所以他請求取消這個規定，朝廷聽從了他的意見。
金穀園圖 潘安和石崇是朋友，此圖描繪了石崇和小妾綠珠在金穀園中的宴樂情景。
潘安兼管兩個縣城，在政務方麵很勤勞，不久就升任為尚書度支郎，又改任廷尉評，後來被免職。楊駿輔佐朝政的時候將他提拔為太傅主簿，楊駿被殺後他也被免職。當初公孫宏沒做官的時候，潘安對他很好，楊駿被殺時，公孫宏是楚王的長史，他幫潘安說了好話，朝廷才免了潘安一死。
潘安性情浮躁，喜歡趨炎附勢，他和石崇等人侍奉、攀附賈謐，每次等候賈謐出門的時候，兩人就望著車馬揚起的塵土行禮，十分諂媚。賈謐的“二十四友”裏，潘安排名第一，關於《晉書》的起筆年限的議論文章也是潘安的大作。潘安母親好幾次都諷刺他說：“你應該知道滿足了，還要僥幸冒險沒個完嗎？”但潘安始終都無法改變。
當初潘安擔任琅琊內史的時候，孫秀在他手下當小吏。這個人奸詐自負，潘安很討厭他，多次鞭打他，孫秀一直對此懷恨在心。到了趙王司馬倫執政的時候，孫秀擔任了中書令。潘安在宮裏碰到孫秀，問他：“孫大人還記得以前我們相處的事嗎？”孫秀回答：“我心裏一直藏著呢，哪一天能忘記？”潘安知道自己好日子不長了。不久孫秀誣告潘安和石崇等人密謀幫助淮南王和齊王造反，於是把他們殺掉並滅了他們的三族。潘安在押赴刑場時，向母親告別：“我辜負了母親對我的教誨啊！”當時被抓的時候，潘安和石崇都不知道對方也被抓了，石崇先到刑場，潘安後到。石崇對他說：“安仁啊，您也在這裏呀？”潘安回答：“這可說是‘白首同所歸’了。”潘安以前寫過送給石崇的《金穀詩》裏麵有一句是“投分寄石友，白首同所歸”。潘安的母親、兄弟、兄弟的兒子和他自己的女兒，無論年紀大小全部被殺，隻有哥哥的兒子逃難免死。而弟弟的女兒和她母親抱在一起哭得很慘，怎麽拉都拆不開她們，引起人們同情，皇帝就下詔把她們倆赦免了。
潘安麵容俊美，舉止有風度，他的詩歌和文章都寫得非常華麗，特別擅長寫哀悼的文章。他年輕的時候乘著車到洛陽大街上遊玩，遇到他的婦女們都手拉著手圍著他，往他的車上扔果子，最後滿載著一車的果子回家。潘安的英俊瀟灑可見一斑。當時還有個叫張載的人長得非常醜，他每次出門都被小孩用石頭瓦片扔，最後狼狽逃竄回家。