宋孝武帝聽說了他的名聲，就派他到華林學習省的壹個專門從事學術研究的政府辦公室工作。他對做官不感興趣，但在那裏他可以更專註於數學和天文學。
我國歷代都有研究天文的官員，他們根據研究天文的結果制定歷法。到了宋代，歷法已經有了很大的進步，但祖沖之認為還不夠準確。他根據自己長期觀察的結果，創造了壹種新的歷法，叫做“大明歷”(“大明”是宋孝武帝的年號)。這種歷法測出的每個熱帶年(即兩年冬季至日之間的時間)的天數與現代科學測出的只有50秒的差別；測量月亮轉壹圈的天數不到壹秒，可見其準確性。
公元462年，祖沖之請求宋孝武帝頒布新歷法，孝武帝召集大臣商議。當時皇帝的寵臣之壹戴法興站出來反對，認為祖沖之擅自更改古歷是越軌行為。祖沖之用自己研究的數據當場反駁了德伐日。倚仗皇帝寵信，戴法興狂妄地說:“歷法是古人制定的，後人不可更改。”祖沖之壹點也不害怕。他很認真地說:“如果妳有事實依據，就把它辯出來。不要用空話嚇唬人。”宋孝武帝想幫戴法興，找了壹些懂歷法的人和祖沖之爭論，但也被祖沖之壹壹反駁。然而，宋孝武帝仍然拒絕頒布新的歷法。直到祖沖之死後十年，他所創制的《大明歷》才付諸實施。
雖然當時社會非常動蕩，但祖沖之孜孜不倦地學習科學。他更大的成就是在數學方面。他曾經註釋過古代數學著作《九章算術》，寫過壹本書《作曲》。他最突出的貢獻是得到了相當精確的圓周率。經過長時間的艱苦研究，他計算出圓周率在3.1415926和3.1415927之間，成為世界上第壹個將圓周率計算到七位數以上的科學家。
祖沖之是科學發明方面的通才。他造了壹種指南針，車上的銅人總是指向南方。他還造了壹艘“千裏船”，在新亭河(今南京西南)試航，壹天可以航行100多裏。他還利用水力轉動石磨，搗米碾粟，稱為“水錘磨”。