海瑞生性剛直，他是儒學的狂熱崇拜者，一生都以儒學的教導來規範自己的言行，從來沒有做過一件違反原則的事情。他沒有中過進士，隻是以舉人身份代理南平縣教諭。禦史到學宮視察的時候，別人都向禦史行跪拜禮，海瑞卻隻作了個揖，他說：“我如果到禦史所在的衙門的話，應當行部屬之禮，讓我跪拜我沒有二話。但學宮是老師教育學生的地方，按規定不能行此大禮。”後來他遷任淳安縣令。七品知縣年俸隻有三十兩白銀，根本不夠用，但海瑞仍然能夠安貧樂道。
胡宗憲很有才幹，但人品欠佳，他兒子耳濡目染，養成了一身壞毛病。有一次胡公子路過淳安縣，當地驛站負責接待。海瑞曾經吩咐過，不管招待誰，都是四菜一湯，嚴格執行當年朱元璋定下的標準。胡公子霸道慣了，見驛吏端來的食物居然如此簡陋，勃然大怒，認為這是看不起自己，命令手下把驛吏捆上倒掛起來。消息傳到海瑞耳朵裏，他不慌不忙地說：“以前胡總督巡查的時候，曾經下令各地官員不得鋪張浪費，他本人也一向廉潔。而今天這個人身上攜帶那麽多銀兩，還這麽不講道理。一定不是胡總督的兒子，是壞人冒充的！”他下令把胡公子抓了起來，從他行囊中搜出幾千兩銀子，全部沒收。還派人把這個消息告訴給胡宗憲，胡宗憲吃了個啞巴虧。
都禦史鄢懋卿是嚴嵩的幹兒子，一向驕橫。他路過淳安縣的時候，也是因為飯菜簡陋而發火。海瑞公開宣稱淳安是個小縣，容納不下鄢懋卿的車馬。鄢懋卿氣壞了，但他知道海瑞不是好惹的，隻好忍氣吞聲地離開。回京後，他指使別人彈劾海瑞，將他貶官。
過了很久，海瑞被提拔為戶部尚書。當時明世宗一心想當神仙，成天躲在後宮裏和道士鬼混，已經有20多年沒有上朝了。大臣也不敢提意見，為了保住官位和腦袋，大家紛紛向皇帝進獻祥瑞之物。海瑞看不慣明世宗這種荒唐的行為，剛到京城沒多久，就遞了封石破天驚的奏章。
這封奏章直言不諱地譴責了明世宗的荒唐行為，誠心誠意地希望皇帝能夠醒悟過來，把天下治理好。明世宗看到這封奏章後氣得把它扔到地上，對左右說：“快把他抓起來，不要讓他跑了！”宦官黃錦說：“這個人是出了名的傻子。聽說他遞上奏章後，知道自己犯了死罪，事先就買好了棺材，和家裏人訣別，把仆人都趕跑了。現在他正在朝廷裏待罪呢，是不會跑的。”明世宗頓時啞口無言。過了一會兒他把海瑞的奏章撿起來重新讀了一遍，一天內看了好幾次，點頭歎息。他下令把海瑞抓進詔獄。兩個月後，明世宗去世，明穆宗即位，把海瑞放了出來。
詔獄的官員聽說了明世宗的死訊後，認為海瑞不但會被釋放，而且還會被重用，就買了很多酒菜來款待海瑞。海瑞以為自己馬上要押赴刑場斬首，這酒菜是餞行用的，就盡情吃喝起來。等他吃夠了，那個官員才悄悄告訴他明世宗死了。海瑞馬上放聲大哭，把剛才吃的東西都吐了出來，哭了整整一個晚上。
因為海瑞剛正不阿，經常得罪權臣，所以屢次被貶官。但他名聲實在太大，每次都被起用。海瑞死於萬曆十五年（1587年），他死後，禦史王用汲去他家幫忙辦理後事，結果在他家隻看到用葛布做的帷帳和一些破爛竹器，有的東西破得連窮人都不會用。王用汲越看越感動，他回去後，組織同事湊錢為海瑞辦理喪事。海瑞死前在南京為官，當地百姓聽說他的死訊後，自發罷市為其哀悼。海瑞的靈柩用船運回家鄉的時候，兩岸站滿了為他戴孝的百姓，祭奠哭泣的人多得數不勝數。