虞允文自幼聰明好學，7歲就能寫文章。他天性純孝，母親死後，他不但要守孝，還得照顧父親，所以很晚才參加進士考試。考中進士後當了幾年地方官，被召入朝廷擔任了中書舍人。
當時金國發生了內亂，完顏亮殺害了金熙宗，自立為帝。完顏亮凶狠殘暴，早就有吞並南宋的打算。他表麵上和南宋保持良好關係，暗中卻在準備南侵。消息傳到宋高宗耳邊，卻沒有引起足夠的重視。虞允文也認為金國遲早會入侵，請求朝廷做好防備，但宋高宗裝作沒聽見。
不久，完顏亮出動60萬大軍，號稱百萬，南下侵宋。當時劉錡防守淮東，王權防守淮西。王權是個膽小鬼，一聽到金國出動了那麽多人，嚇得沒有打就跑了。而劉錡生了重病，回到了揚州。金軍很快就攻破了宋軍的防線，一直打到了采石。
這個時候宋高宗才害怕起來，他派李顯忠接替了王權的職務，又派宰相葉義問前往采石勞軍。葉義問才不敢到前線去呢，他知道虞允文不怕死，於是派他去采石犒勞三軍將士。
當時防守采石的是王權的敗兵，他們剛剛吃了敗仗，主帥又逃跑了，而李顯忠還沒有來，士氣非常低落。士兵們三五成群地聚在一起聊天，鎧甲都懶得穿。虞允文沒有想到事情會是這個樣子，他覺得要是等李顯忠的話，恐怕已經來不及了。虞允文在愛國熱情的驅使下，把各位將領召集過來，對他們說：“現在敵人已經打到我們眼皮底下來了。采石如果失守的話，敵人就會**。各位深受朝廷厚恩，應該為朝廷效力。現在賞賜的財物和官職委任狀都在這裏，希望你們能好好立功，到時候不會少了你們的賞賜的。”大家都說：“今天這事既然有你做主，我們還怕什麽，一定會為國死戰的！”有人悄悄對虞允文說：“朝廷是派你來犒賞將士的，沒叫你來督戰，萬一有個什麽閃失，你吃罪不起啊。”虞允文斥責道：“現在都什麽時候了，還說這些！我能眼睜睜看著社稷陷入危機嗎？”
虞允文是個書生，而且他手下士兵人數確實也太少了，隻有1.8萬人。可金兵卻有幾十萬，而且都是大船，宋軍隻有小船，在水上作戰很吃虧。虞允文下令把船分成5隊，兩隊停留在長江東西兩側，一隊停留在江麵上，剩下兩隊隱蔽在港口裏麵，以防不測。剛剛準備好，敵人就發動了進攻。完顏亮揮動紅旗，指揮幾百艘戰船殺了過來，很快就有70多艘敵船抵達了南岸宋軍陣地。宋軍抵擋不住，紛紛往後退。虞允文見形勢危急，親自跑到陣中，對大將時俊說：“將軍的勇敢天下聞名，怎麽一打起仗來跟婦女小孩一樣了？”時俊很不服氣，揮舞雙刀殺向敵陣，士兵們在他的激勵下也紛紛掉頭殺敵。停留在江中間的那隊小船也衝了過來，由於船小，所以活動靈活，能夠撞擊敵人的大船，很多敵船就是這樣被撞沉的。殺到傍晚的時候，從光州撤下來一批敗兵，虞允文讓他們拿上戰鼓和旗幟，命令他們繞到山後擂鼓搖旗呐喊。金兵以為宋軍來了援兵，嚇得紛紛逃散。虞允文下令放箭射殺逃走的敵軍，取得完勝。這一仗殺敵4000，俘虜500多人。完顏亮沒想到居然在這裏栽了跟頭，氣得把逃回去的士兵打死了不少。
宋軍取得大勝後，虞允文很高興，設宴犒賞全軍將士。但虞允文並沒有放鬆警惕，他預料到敵人明天一定會再來的，所以半夜的時候布置好了伏兵。第二天敵人果然卷土重來，虞允文下令伏兵出擊，自己帶領主力部隊迎戰，兩路夾擊，又一次取得大勝，燒掉了300艘敵船。
此時李顯忠終於趕到了采石，虞允文向他交待了戰況，並請求讓自己帶兵增援京口。他到京口後整頓軍隊，修治戰具。當時朝廷各路援軍都已開到，京口的士兵人數不下20萬，但戰船卻很少。虞允文下令有風的時候用大船，沒風的時候用小船，還派人造船隻。虞允文弄了些車船來，讓士兵們踏著車船在江上巡視。敵人沒有見過這個，一個個都傻了。有人把這事匯報給了完顏亮，完顏亮自作聰明地說：“那些船都是紙做的。”有個部將提醒他不要輕敵，反而被完顏亮打了50大板，還揚言要殺了那個部將。結果當天晚上完顏亮就被憤怒的士兵給殺掉了。金人群龍無首，最後乖乖地撤兵了。
南宋李唐繪《胡笳十八拍圖》中的甲馬