皇甫謐是魏晉時期有名的醫學大師，他是漢朝太尉皇甫嵩的曾孫，一生下來就過繼給叔叔為嗣子，後來搬家到了新安。他到20歲的時候還不肯好好學習，成天在外麵遊手好閑，有人甚至以為他是個傻子。有一次他得到了一些水果，拿回家獻給叔母任氏。任氏說：“《孝經》上麵說：‘即使每天用牛、羊、豬來奉養父母（如果不好好學習的話），仍然是不孝順，’你今年都20歲了，但還沒讀過書，不明白道理，根本沒辦法安慰我啊！”叔母接著歎息道：“以前孟子的母親為了他的成長而搬了3次家，使孟子最終成為賢德之人；曾參的父親殺了自己家的豬來教育兒子要信守諾言。我難道是因為沒有選擇好的鄰居，教育方法不對，不然你怎麽這樣愚蠢呢？修身養性，學習知識，是你自己有收獲，我能得到什麽呢？”說著說著就哭了起來。皇甫謐深受觸動，從此他痛改前非，“浪子回頭金不換”說的就是他。
皇甫謐性格沉穩，有崇高的誌向，以寫作為生，寫了《禮樂》和《聖真》等書，後來得了風癱，但還是沒有停止閱讀寫作。
有人勸他多多和達官貴人交往，以此來換得好名聲。皇甫謐認為隻有聖人才能在做官的時候得到好名聲，普通人在田野裏隱居也能享有美名。而他自己並不是聖人，沒有必要和達官貴人來往，以此來獲得名聲，所以他沒有去做官。他潛心研究古代的經典著作，以至於廢寢忘食，當時的人都說他是“書**”。有人勸說他不要過於專心了，否則會耗損精神而短壽。他說：“早上懂得了道理，在晚上的時候死去也是值得的，更何況壽命的長短是由上天決定的呢。”
皇甫謐多次拒絕了別人的舉薦，不出去做官。晉武帝知道他的名聲後，多次下詔書請他出仕，但他都推辭了。晉武帝很敬重他，也就沒有勉強。
後來皇甫謐被舉薦為賢良方正，還是不去。他向皇帝上書請求借書，皇帝就送給他了一車書。皇甫謐雖然身患重病，但仍然每天都刻苦攻讀。他服用寒食散，因為體質和藥性相抵觸，所以常常感到疲憊不堪，曾經痛苦得想拿刀自殺，幸好有他叔母的勸阻才沒有釀成悲劇。
濟陰太守文立向晉武帝上書，認為各地給賢人送禮物很麻煩，要求免除這方麵的開支，皇帝同意了。皇甫謐聽說這件事後歎息道：“亡國的大夫不可以和他談論國家存亡的事，用文立的建議，廢除曆代傳下來的製度，這怎麽可以呢？用禮物作為聘用的禮節，這是《易經》明確規定了的，是古代以來就有的製度。所以孔子說要以夜以繼日的學習來對待前來請教的人，有道的儒者，就像宴席上的好菜一樣，等待帝王的征辟。真正的儒者，要經過帝王3次作揖才能出來做官，這說明招攬賢士的難度；一旦稍有譴責，就要退出政壇，這說明賢人離開的容易。比如商湯聘用伊尹，周文王聘用薑太公一樣，要麽在田野裏迎接來，給他主持國政的大權；要麽就和他乘坐同一輛車回去，馬上任用為軍師。這樣都還怕禮節不夠尊重呢，怎麽能吝嗇花費呢？而且一種聘禮不具備，就連貞節的女子都會覺得是恥辱，更何況有名的賢士呢？孔子說過：‘子貢啊，你看重的是羊，而我看重的是禮儀。’放棄了禮儀會怎麽樣呢？朝廷喪失了賢才，就是因為這種情況。”
後來皇帝下詔說：“皇甫謐從容不迫地堅持學習，喜歡古代的文獻典籍，和世俗之人有完全不同的誌向，所以任命他為太子中庶事。”皇甫謐仍舊以病重為借口推辭了。一直到最後，他也沒有出來做官，68歲那年去世。