漢武帝時期， 霍去病率領大軍北伐匈奴， 在元狩二年， 霍去病大敗匈奴單于， 繳獲了休屠王的祭天金人， 后來渾邪王投降漢朝， 休屠王被殺， 他的兒子金日磾與妻子閼氏投降了漢朝， 金日磾被派去養馬， 當時年僅14歲。
當時漢武帝閱馬時看見了金日磾， 見他身強體壯， 氣宇不凡， 于是便召他做自己身邊的馬監， 之后對他非常寵信， 不斷升官， 最后讓他做了光祿大夫。 金日磾對漢武帝非常忠誠， 對自己的家人要求也非常嚴格。 當時自己的長子是漢武帝的弄兒， 深受漢武帝的喜愛， 但是金日磾卻對自己的兒子管教甚嚴，
只不過這個兒子仗著漢武帝寵愛便肆意妄為， 長大之后竟敢調戲宮女， 不幸的是他調戲宮女的畫面被金日磾看見了， 認為此子淫亂后宮， 于是一怒之下便殺了他。 漢武帝知道大怒， 金日磾說出了原由， 雖然很舍不得這個弄兒， 但是卻也無可奈何， 不過他對金日磾卻更加敬重了。
后來羅馬河造反， 金日磾拼命保護漢武帝， 漢武帝對此非常感動， 想要封他為侯， 只是金日磾不愿意， 他始終以自己是匈奴人， 不宜封侯為由拒絕了漢武帝的好意。 在漢武帝駕崩前， 他與霍光成為了托孤重臣， 當時霍光想謙讓金日磾， 但是他卻說自己是外族人， 若是成為托孤重臣， 有損天朝威儀， 會讓匈奴人瞧不起的。
于是自愿做了霍光的助手。 漢武帝死后留有遺詔， 要以羅馬河造反時金日磾護駕有功封其為秺侯， 但是金日磾以漢昭帝年幼拒絕封侯。 就這樣， 金日磾兩次拒絕封侯， 在當時也是絕無僅有。
金日磾輔助漢昭帝盡心盡力， 可惜的是他積勞成病， 在四十九歲時便去世了， 去世之前他接受了漢昭帝的封侯。 金日磾的墳墓埋在了茂陵旁邊， 漢昭帝為他舉行了厚葬， 用輕車軍士為他送行， 士兵排到了茂陵， 賜謚號為敬侯。
金日磾的后代也受其影響， 對漢朝忠心耿耿， 他的兩個兒子金賞， 金建都均是漢昭帝的侍從， 漢昭帝對他們非常信任， 想要給他們兄弟二人都封侯， 只不過當時漢朝封侯必須有功才行， 再加上霍光勸阻，