李若水是太學生出身，中進士後擔任元城縣尉，後因為考試第一而被授予太學博士一職。李邦彥曾經受蔡京排擠，想離職，李若水批評了他這種臨陣脫逃的行為。李邦彥掌權後，李若水又多次向他提意見，引起了李邦彥的不滿。
奸臣高逑死後，按例皇帝應當為他穿喪服，李若水說：“高逑不過是個幸臣，他在任期間敗壞朝政，動搖民心，導致金人入侵，他的罪和童貫等人差不多。他能得善終已經很不錯了，追究起來，還得削奪他的官職。現在反而還要為他吊喪，那怎麽行！”終於阻止了這件事。
宋欽宗派人去金國談判，想用錢贖回被金國占去的3個城池，李若水被選為使者之一，到了雲中見到金帥宗翰。回來後不久，金兵就南下了，朝廷又派他作為副使出使金國。走到河南中牟的時候，守衛黃河的士兵以為金兵殺過來了，驚慌起來。隨從們想從小路逃走，李若水說：“士兵們是因為害怕而逃跑，我們怎麽能學他們的樣子？現在正是為國而死的時候！”他下令再有人敢提逃跑的事立刻斬首，這才把人心穩定了下來。
李若水雖然是作為和談的使者，但他內心裏還是主戰的。他出發後接連上奏朝廷，聲明議和肯定不會成功，朝廷不要把全部希望都放在議和上麵，而是應該及時做好防備，可朝廷並沒有聽他的。李若水和宗翰沒有談出結果，宗翰下令加緊攻城。不久，京城被金人攻了下來，但金人暫時還沒有把兩位皇帝抓起來，而是找地方安置了他們。李若水他們回來後，把宗翰的話匯報給了皇帝，皇帝命令右丞相去金營談判。右丞相回來後說金人要宋徽宗親自去麵談。宋徽宗說：“我應當去。”第二天就跑到金營去了，整整談了兩天才回來。
一年後，金人再次邀請宋欽宗出城談判，宋欽宗很為難。李若水認為不會有什麽岔子，跟隨宋欽宗一起去了。誰知道金人中途改變了主意，逼迫宋欽宗換下皇帝的服飾，李若水悲憤交加，抱著皇帝大哭，大罵金人豬狗不如。金人把他拖了出來，還打傷了他的臉。李若水當場昏死過去，金人留下幾十個騎兵嚴密看守他。
宗翰佩服李若水是條漢子，下令說：“一定要保住李若水的性命！”李若水對金人非常痛恨，他絕食抗議金人不講信義的行為。金人勸他說：“事情還沒有發展到不可收拾的地步，您昨天雖然說了些不太好聽的話，但我們宰相並沒有生您的氣。如果今天您能順從我們的話，明天就能得到富貴。”李若水長歎一口氣道：“天無二日，我李若水難道能夠侍奉兩個國家的君主嗎？”他的仆人也過來勸他說：“大人的父母年紀都很大了，如果您能稍微忍耐下的話，以後還有見到兩位老人家的機會啊！”他斥責道：“我已經不能再顧家裏麵的事了。忠臣侍奉君主，隻能一死，絕不能有二心。我父母確實也老了，我怕他們經受不住打擊。你如果能回去的話，記得不要急著把我的事告訴他們，讓我兄弟和他們慢慢說好了。”
宋欽宗像 宋欽宗貪生怕死，卻沒能逃過一劫，最後終於做了金人的俘虜，受盡折磨而死。
10天後，宗翰找他商量事情，並問他為什麽不願意承認別人為帝的原因。李若水大義凜然地回答道：“太上皇為了保全國家和百姓，已經下了‘罪己詔’，將皇位讓給了皇上。而皇帝仁德孝順，慈愛儉樸，並沒有任何過失，怎麽能隨便廢掉他呢？”宗翰指責宋朝失信，李若水說：“如果你認為失信是罪過的話，那好，你的罪過就更加嚴重了！”他扳起手指頭一五一十地數落起宗翰失信的事，一共數了5條出來。宗翰大怒，下令把他拉出去，可他罵得更厲害了。李若水被拉到郊外的祭壇下，對他的仆人說：“我為國而死是我的本分，可惜連累了你們啊！”然後又不住口地大罵。金人聽不下去了，打破了他的嘴唇，李若水吮著血罵得更加起勁。金人殘忍地用刀砍傷了他的脖子，還割掉了他的舌頭，李若水還是含含糊糊地痛罵，最後壯烈犧牲，年僅35歲。
李若水死後，一些從北方逃到南方的人說：“金人經常在一起議論，說當初遼國亡國的時候，被俘的人不屈而死的有十好幾個，可南朝卻隻有李若水一個人。他被殺害之前，毫不畏懼，還編了一首詩，最後一句是‘抬頭問蒼天，蒼天無言；忠臣為國而死，死有何憾！’”聽到的人都為他感到悲傷。