尹翁歸是平陽人，他少年時父母雙亡，和叔叔一起生活。年輕的時候當過獄卒，很熟悉法律文書方麵的事。他喜歡舞刀弄劍，武藝高強，沒有人是他的對手。當時霍光執掌朝政，他對子弟管教不嚴，霍家子弟多住在平陽，家裏的奴仆和門客拿著兵器在街上和人鬥毆，官吏都不敢管。直到尹翁歸擔任管理街市的官員後，才沒有人敢橫行不法。尹翁歸清正廉明，從來不接受賄賂，商人們都很敬畏他。
後來尹翁歸辭掉了官職，回到家裏。田延年為河東太守，他在巡視的時候到了平陽，把他過去手下的小吏們都召集了起來，共有五六十人，親自接見。田延年命令他們當中習文的人站東邊，習武的人站西邊。大家都按照他的命令站好了，隻有尹翁歸跪在地上沒有動。尹翁歸告訴田延年：“我文武兼備，任憑您吩咐了。”田延年手下人認為這個人桀驁不馴，但田延年說：“這有什麽關係呀。”把他叫到跟前問話，對他的回話感到非常驚奇，於是補選他為自己的手下。尹翁歸處理案件都能一查到底，把事情的原委弄個清清楚楚。田延年很器重他，認為自己的才能不如他，於是提升他為督郵。當時河東郡下轄28個縣，分為兩個部分，尹翁歸負責汾河以南。他揭發和檢舉官員都是依法辦事，被他檢舉的人都是罪有應得，所以他管轄的地區官員即使因為他而受到懲處，也沒有人怨恨他。不久他就因為清廉而節節高升，很快就擔任了弘農都尉。
朝廷征召他為東海太守，他就任前向廷尉於定國辭行。於定國是東海人，他想委托尹翁歸照顧同鄉的兩個孩子，就讓那兩個孩子在後堂等待引見。於定國在家裏和尹翁歸談了一天，被他的氣勢所折服，一直不敢把那兩個人引見給他。尹翁歸走後，於定國對他們說：“尹翁歸是個賢良的官員，你們又沒有什麽本事，我不能憑借私交求他照顧你們。”
尹翁歸在東海郡擔任太守期間，明察秋毫，東海一帶的官吏百姓是好是壞，包括那些作奸犯科的人的名字他都知道得一清二楚。每個縣的登記名冊他都親自處理，如果案子太急他會稍微緩一些。如果手下的官吏百姓稍微有所鬆懈，他就把他們的罪狀披露出來。他每次出巡都會收捕些壞人，殺一儆百，官吏和百姓都服從他的管理，而且因為害怕他的威嚴而紛紛改過自新。東海有個大豪強地主名叫許仲孫，為人非常奸詐狡猾，公然違反法律，東海郡的人深受其害。每次來了新太守要逮捕他，他都倚仗勢力，用狡猾的手段逃出法律的製裁，所以一直都沒有受到懲罰。尹翁歸到任後，派人將許仲孫抓了起來，在集市上將其斬首示眾，整個東海郡的人都為之害怕折服，沒有人敢違反他的禁令了，一時間東海郡被他治理得非常好。
尹翁歸因為政績優異而被調到右扶風（接近京城的地方）。他在任期間選拔清正廉明、疾惡如仇的人擔任官吏，對他們以禮相待，和他們共同遵循同樣的好惡。凡是背叛他的人，一定會受到嚴懲。尹翁歸治理右扶風的辦法和東海郡一樣，那些作奸犯科者的名字，每個縣都有詳細記錄。如果發現了盜賊，尹翁歸就會召見當地的長官，告訴他主犯的名字，教給他們根據蛛絲馬跡推理出盜賊所在地的方法，讓他們找出盜賊的藏身之處，結果事情往往和他事先料想的一樣，從來沒有失敗過。尹翁歸在追查貧苦老百姓的時候比較寬鬆，而對那些地方豪強則非常嚴厲。地方豪強如果被治罪的話，就被送到掌畜官那裏，讓犯人鍘草來贖罪，而且規定要按時到達，不準找別人來代替，如果發現有不合要求的，都要受到鞭打的懲罰，有的人因為被鞭打得過於疼痛，以至於無法忍受，甚至有用鍘刀自殺的情況出現。京城的人因為畏懼他的威嚴，所以很少有人敢犯法，右扶風因為他而治理得非常好，懲治盜賊的政績在京城三輔中常常排名第一。
尹翁歸雖然喜好用刑罰，但他一向清廉自守，辦公的時候從來不涉及私事，而且為人溫良謙虛，從不因為自己的能力而看不起別人，在朝廷中的名聲非常好。他任官幾年後，因病去世，死後家中沒有剩餘的財產，皇帝親自下詔書表彰他，稱讚他是個難得的清官，對他的去世表示非常痛心，並賜給他兒子一百斤黃金，以表彰清官。
當初和尹翁歸一起為田延年效力並被田延年提拔推薦的還有閎儒，也是個難得的好官，所以世人都稱讚田延年善於識別人才。