爾朱榮出生在羯族部落一個酋長家庭，他的祖父多次跟隨北魏太武帝南征北戰，立下不少功勞。他有一次打獵的時候，大腿被一個部民誤傷，按當時的傳統，那個部民要被殺頭，但他不動聲色地把箭拔掉，沒有追查是誰射的，他說：“這很明顯是誤傷，我不忍心加害於人。”大家聽了之後都很感動。他父親繼承酋長位置後，多次出動人馬幫助北魏打仗，而且和朝中官員關係很好，後來把酋長之位讓給了爾朱榮。爾朱榮生得皮膚白皙，容貌俊美，從小就聰明伶俐，長大後喜歡打獵。每次召集部民圍獵的時候，都按照行軍打仗的方式布陣，而且紀律嚴明，和真的打仗一樣。
爾朱榮繼承父親地位的時期正好是胡太後專權時期，當時天下大亂，爾朱榮也組織了一支部隊，先是跟隨李崇和柔然作戰，隨後又幫助北魏撲滅了多次叛亂，很快就在政治上嶄露頭角。
爾朱榮在多年的征戰中逐漸認清了北魏王朝的虛弱本質，覺得不管是政府軍隊還是叛軍，都沒辦法和他作對，於是逐漸驕橫跋扈起來。他在肆州打仗的時候，當地的刺史尉慶賓很怕他，關閉城門不讓他進城。爾朱榮大怒，把肆州打了下來，任命自己的叔叔為肆州刺史，把尉慶賓關押起來。本來這是謀逆的大罪，但腐敗的北魏朝廷不敢得罪這個手握重兵的人，反而任命他為鎮北將軍。
後來鮮於修禮造反的消息傳來，爾朱榮請求讓自己去討伐，朝廷同意了。結果此時另一支叛軍葛榮勢力強大，爾朱榮害怕他偷襲自己，請求朝廷給他派援軍，胡太後沒有同意。接著他又要求派兵堵住敵人退路，也被朝廷否決了。爾朱榮大怒，從此自己招兵買馬，擴充實力，不聽朝廷號令，成了一個地方軍閥。
北魏孝明帝和胡太後關係終於破裂，他密令爾朱榮進兵洛陽支持他。爾朱榮立刻帶兵南下，走到半路卻傳來北魏孝明帝被胡太後毒死的消息，爾朱榮氣昏了頭，上表抗議，借口為北魏孝明帝報仇而興兵。爾朱榮率領大軍向洛陽殺去，他派人去見長樂王元子攸，將他立為皇帝，借他的名義起兵，名正言順地討伐胡太後一黨。胡太後派情夫李神軌帶兵抵擋，還沒開打，李神軌就跑了，爾朱榮不費吹灰之力就開進了洛陽城，將胡太後和她立的小皇帝扔進了黃河。
爾朱榮把元子攸接到洛陽，自己控製了朝政大權。他的親信費穆對他說：“您手下人馬不過萬人，既沒有取得大勝，朝中大臣又對您不服，如果您不殺掉一些人換上自己人的話，恐怕萬一您哪天離開一步，就會發生變亂啊。”爾朱榮覺得他說得很有道理，又問另一個親信慕容紹宗：“洛陽人口太多，我想趁大臣朝拜皇帝的時候把他們殺個精光，你看如何？”慕容紹宗反對他這麽做，但爾朱榮決心已下。他請元子攸引導百官去行宮西北，謊稱要祭天，百官都到齊後，爾朱榮對他們說：“天下大亂，先帝死得不明不白的，這全是你們不能輔佐造成的！個個都該殺！”他一聲令下，手下的士兵衝上去見人就殺，有1300多大臣被殺。爾朱榮隨後率兵向行宮衝去，元子攸正和兩個兄弟往帳外走，想看看發生了什麽事。幾個士兵衝上去把元子攸圍起來，其他人把他兩個兄弟殺掉了。元子攸聽見兄弟們的慘叫，想問個究竟，但士兵們也不理他，把他架到帳篷中軟禁了起來。
元子攸又氣又怕，擔心爾朱榮也不會放過他，派人告訴爾朱榮，他想禪讓皇位，隻求饒他一命。爾朱榮的部下裏隻有高歡勸爾朱榮稱帝，其他人都反對。爾朱榮派人鑄造金像，但鑄造了4次都失敗了。爾朱榮認為不吉利，就放棄了篡位的想法。爾朱榮當天晚上將元子攸迎回宮中，向他叩頭謝罪，表示自己也很後悔殺掉那麽多大臣。
爾朱榮的女兒本來是肅宗的妃子，他突發奇想，想把女兒嫁給元子攸當皇後。元子攸本想拒絕，但大臣勸他要忍耐，於是隻好同意了。
爾朱榮越來越跋扈，魏孝莊帝元子攸又恨他又怕他，而且爾朱榮的女兒仗著父親的權勢在皇帝麵前指手畫腳，使魏孝莊帝逐漸下了殺掉爾朱榮的決心。城陽王元徽建議：“以皇後生子為名，請爾朱榮進宮道賀，他肯定不會懷疑。”魏孝莊帝將士兵埋伏在殿後，讓人到爾朱榮家裏道喜，爾朱榮果然上當，欣然進宮探望。這個時候魏孝莊帝已經緊張得臉色都變了，幸虧周圍人提醒，他才喝了幾口酒壯膽。爾朱榮一進門就發現有埋伏，他趕緊衝上去挾持皇帝，魏孝莊帝早有準備，一刀刺進他小腹，眾人衝上來揮刀亂砍，將爾朱榮剁成了肉泥。
爾朱榮死後，爾朱家族勢力還是很龐大，他們迅速做出反應，發動政變，將魏孝莊帝囚禁起來，活活勒死。但惡有惡報，爾朱榮手下大將高歡背叛了他們，最終滅掉了爾朱氏全族。