於謙是浙江錢塘人，7歲那年有個和尚見到他後覺得很驚訝，對他說：“你這個小孩以後會成為救世的宰相啊！”於謙刻苦好學，很年輕就中了進士，被任命為禦史。
於謙聲音響亮，很有氣勢。漢王朱高煦謀反失敗，投降的時候，皇帝命令於謙宣讀聖旨，指責他的罪過。於謙義正詞嚴、聲色俱厲地斥責朱高煦，狂傲的朱高煦被於謙罵得伏在地上直發抖，皇帝見了之後非常滿意。
王振得勢的時候，於謙由於剛正不阿得罪了他，被陷害入獄。當時山西和河南的官民紛紛上書，請求釋放於謙的人數以千計，連諸侯王也為他說好話。王振見眾怒難犯，隻好把他放了出來。
土木堡之變後，形勢非常嚴峻，於謙當時擔任兵部侍郎，由於兵部尚書鄺埜戰死，所以由他來負責兵部的事務。
為了安定人心，皇太後任命郕王朱祁鈺為監國，代理皇帝職權，召集大臣商討如何對付瓦剌的入侵。有個叫徐有貞的大臣說瓦剌現在兵強馬壯，明朝又剛吃了大敗仗，硬拚是肯定拚不過的，他說自己觀察天象，北京城會遭到大難，所以建議把都城遷到南方去。
於謙《題公中塔圖讚》
於謙一聽就生氣了，他反駁道：“主張逃跑的都該殺！京城是國家的**，要是一跑，國家就完了，大家難道忘了南宋的教訓嗎？”
他的一番話贏得了大多數人的讚同，反對他的人也懾於他的正氣不敢說話了，紛紛推舉他負責守城，太後和監國也都安下心來了。尚書王直拉著於謙的手說：“國家現在依靠的是你這樣的人才，今天這種情況，就算有100個王直又有什麽用呢？”
這次守衛京城，於謙知道責任重大，他不敢怠慢，一方麵布置防禦的兵力和將領，另一方麵抓緊捉拿瓦剌奸細，還下令各地將領盡快帶兵進京勤王。然後他上書朝廷，建議宣布王振的罪狀，捉拿他的同黨，以穩定民心，通過這些措施逐漸安定了京城的人心。
也先俘虜了明英宗，覺得很高興，把明英宗當作人質，挾持著他進犯北京。由於皇帝在他手上，沿途的守軍不敢放手進攻，瓦剌軍進展神速，很快就打到北京城下。針對這種情況，於謙等人上書，要求監國即位做皇帝，把英宗奉為太上皇，這樣就能消除英宗在敵人手上的不良影響了。
正統十四年（1449年）十月，瓦剌軍抵達北京城下，在西直門駐紮下來，準備發動進攻。大將石亨認為敵人兵強，建議把軍隊撤進城，憑借城牆死守，這樣瓦剌見短時間內攻不下來，也許就會主動退兵。於謙拒絕了這個建議，他認為這樣就是對敵人示弱，反而會助長敵人的囂張氣焰，應該主動出兵，先殺他們一個下馬威。
於謙把各路人馬布置在京城各個門外，命令把城門都關起來，表示有進無退的決心。他還下令說如果將領上陣逃跑的，就斬將領，士兵逃跑的，就由後麵的士兵就地正法。這樣既嚴明了軍紀，又表明了堅決保衛北京城的決心，大大鼓舞了將士們的士氣。這時候，各地前來增援的人馬也陸續趕到，都駐紮在京城外麵，總共有22萬人之多，更加堅定了大家必勝的信心。
於謙派遣幾名騎兵前去誘敵，也先果然中計，派了上萬人前來衝鋒，結果中了埋伏，死傷慘重，連也先的兩個弟弟都喪了命。也先大怒，調遣部隊攻打西直門和彰義門，又被擊退。當時很多太監受於謙愛國精神的激勵，加上看到瓦剌軍敗退，一下子衝出好幾百人前去追擊，結果反而把自己的陣形衝亂了。瓦剌軍乘勢反攻，打到土城的時候，連老百姓都爬到城牆上向瓦剌軍扔石頭土塊，許多瓦剌將士被砸得頭破血流。一連打了5天，瓦剌軍損失慘重，隻好退兵。於謙看到挾持明英宗的隊伍走遠了，才下令開炮，炸死不少後麵的瓦剌士兵，北京保衛戰最後以明朝的勝利而告終。也先看到明英宗留著也沒用，勒索了一大筆贖身費後就把他放回去了。
明英宗複位後，對於謙當年扶持別人當皇帝不滿，再加上被於謙斥責過的徐有貞和石亨背後說壞話，於是給於謙安了個謀反的罪名，把他殺害了。老百姓聽說於謙冤死，一個個都痛哭流涕，跟死了親人一樣傷心。