父司馬談，在漢武帝建元年間（公元前140—前135 年）作了太史令，通稱太史公。這是史官，漢武帝新恢復的壹種古官。官位不高，職權不大，主官天時星歷、祭祀禮儀、搜羅並保管典籍文獻。這是史官的傳統。
史官掌握文化知識，是歷史上出現最早的壹種官。從殷周到春秋戰國，史官的職權、地位逐漸降低，但他們的政治地位從來沒有改變。他們的職掌，歷代相傳，最重要的是為王家記言記事。在殷周時代，他們記錄的是王室的言和事。在春秋戰國時代，他們記錄的範圍擴大到各國統治者及其卿大夫的言和事。但到武帝時，太史令並沒有這項職掌，司馬談自覺地按照古代史官傳統，準備要為新興的封建統治階級記言記事。他在大約三十年（公元前140～前111 年）的太史令職守上，在“百年之間，天下遺文古事靡不畢集太史公”的便利條件下，不僅有論述歷史的誌願和計劃，而且很可能已開始了部分的撰述工作。司馬談到長安做官以後，司馬遷自然地隨著父親到長安，有了更多的學習機會。司馬遷自說“年十歲則誦古文”，當是到了長安以後的事情。所謂“古文”，就是用古代文字寫的典籍。漢初傳習的古書，許多是用漢代通俗應用的隸書即所謂“今文”寫的，也有先秦保存下來的，用古文寫的。司馬遷十歲時所誦的“古文”，就是指某些用古文寫的書，不是專指某壹種書。由此可見，司馬遷很早就有古文的修養。
司馬遷（前１４５或前135—約前87）（補註：前１４５取自《太史公自序》的《正義》，所依據的是唐代張守節《正義》註稱：“太初元年，遷年42歲。”太初元年（公元前104年）往上推42年，則是景帝中元五年（公元前145年）王國維，梁啟超等主此說。前135取自《太史公自序》的《索隱》，依據晉代張華《博物誌》稱“大夫司馬遷，28歲古六月乙歲卯，石也”。也就是說，漢武帝元封三年（公元前108年），司馬遷升為太史令，年28歲，由此上推二十八年，即武帝建元六年（公元前135年）應為司馬遷生年。郭沫若等主此說。壹般采用前說）補註：持“建元六年說”者，千方百計證明《博物誌》是對的，而認為張守節《正義》的記載是錯誤的。理由主要有以下幾點：其壹，《博物誌》該條所錄的是漢代記籍簿，它記載著司馬遷的姓名、年齡、居住地、官爵、拜官年月和俸祿等等。如此詳細而真切，是錄自漢代文書，其真實無疑。這是壹種原始材料，它的價值遠遠超過壹般史書中的材料。其二，司馬遷《報任安書》中有壹句話：“今仆不幸早失二親。”如按《正義》所言司馬遷生於景帝中元五年，元封元年（公元前110年）其父司馬談死時，司馬遷應是36歲。按常理，36歲死去父母說不上“早失二親”。如按《博物誌》所言，司馬遷生於武帝建元六年，即26歲父死，說早失父母尚說得過去。其三，司馬遷《報任安書》作於征和二年（公元前91年），如果他生於景帝中元五年，這壹年應是55歲，他做郎中是在20歲左右邀遊各地回來後的事，那麽，他應該說待罪輦轂下30余年了。顯然，司馬遷不會連自己做過的事都記不清楚。只有晚生10年，即武帝建元六年，才符合其說。
持“景帝中元五年說”者除依據張守節的《正義》外，還提出以下幾個問題或論據。其壹，王國維在《太史公行年考》中認為後人引用《博物誌》所以年“二十八”應是“三十八”之誤。《正義》註稱太初五年，司馬遷“處四十二”是正確的。其二，根據〈史記·遊俠列傳〉所載武帝元朔二年（公元前127年），下令將各地毫強和資財三百萬緡以上的富戶遷往茂陵，郭解財產不多，也被強行遷徒，司馬遷也見到郭解，他說：“吾觀郭解狀貌不及中人，言語不足采者。”若司馬遷生於建元六年，當時年僅九歲，決不可能對人有如此深刻的觀察和心理活動。如果按司馬遷生於景帝中元五年，年齡為十九歲，似更合適。其三，根據《漢書·儒林傳》，司馬遷曾向孔安國學習古文，然據《史記·孔子世家》和《資治通鑒》，孔安國在元朔二年為博士，元朔二年司馬遷年方九歲，壹個九歲的孩子是不可能去太學向壹個經學大師求教和商量問題的；如果生於景帝中元五年，此年十九年，似較合理。