曾祖父在臺灣省做生意，事業發達。當他的父親林的家族衰落時，他只經營壹些小生意。向輝自幼隨父在臺生活，宣彤元年(1909)回到家鄉邗江就讀私塾。民國元年考入福州東瀛學堂，學習成績全班第壹。畢業後因為家裏窮不能上學，就在家學習。經過兩年的努力，我中英文都中學畢業了，還能翻譯英文小說。民國八年(1919)，向輝隨父親回到臺灣省，後轉往菲律賓，在壹家米廠做文員。因為對商業不感興趣，他在工作之余仍然自學詩歌。
10年(1921)，陳嘉庚創辦了廈大。向輝以同樣的學位被廈門大學人文社會學系錄取，是廈大招收的第壹批學生之壹。在廈門學習期間，成績優異，連續獲得兩次壹等獎學金，在廈門中華中學擔任歷史、地理、社會科教師。15年獲得文學學士學位，廈門大學第壹屆畢業生。先是在預科學校教了1年，然後去了菲律賓大學研究生院人類學系，跟著美國導師拜爾教授學習人類學。短短1年，我拿到了人類學碩士學位。
17 (1928)年5月回國，先在南京中央研究院任研究員，致力於人類學(包括考古學、民族學、民俗學、博物館學等)的研究。).除了撰寫專著，他還深入臺灣省等地進行民族學、考古學的田野調查。18年，受中央研究院院長蔡元培委托，冒著生命危險對臺北圓山新石器時代遺址和日據臺灣省高山族文化遺產進行調查，後寫成《臺灣省範人原始文化》壹書，由中央研究院出版，是中國系統調查研究臺灣省高山族的第壹人。他把在臺北基隆圓山發現的新石器時代貝墓和在高山族地區發現的新石器時代文物帶回大陸，分別收藏在南京博物館和廈門大學人類學博物館籌備處。
19(1930)9月，向輝回到廈大，任教授兼文史社會學系主任。民國二十四年(1935)，冒險再次到臺灣省高山族聚居區考察，帶回了壹批高山族文物。在臺灣省的兩次調查中收集的考古和民族文物陳列在學校的人類學博物館裏。民國19 ~ 26抗日戰爭爆發期間，致力於人類學專著的寫作和出版。其中，《文化人類學》壹書對人類學的概論、簡史、物質文化、社會組織、宗教藝術、語言文字等都有精辟的論述。對中國原始社會組織和婚姻制度也有獨到見解，民國二十三年(1934)由商務印書館出版，列為“大學叢書”之壹。同時，他撰寫了《中國民族史》(第壹、二卷)，對中華民族的起源、歷史發展和分類體系做出了許多獨到的見解。民國二十五年(1936)由商務印書館出版，是當時中國最完整、最詳細的民族學專著。後來，該書被日本學者中村和大石和翻譯成日文，受到國內外民族學家的重視和引用。此外，他還出版了《民俗學》、《世界民族誌》、《神話學》等專著。，為奠定中國研究人類學的基礎做出了重要貢獻。
民國二十三年(1934)，向輝在廈門大學西側丁敖宅二樓成立了廈門大學人類學博物館籌備處，將自己多年來收集的考古、民族、民俗等文物與海外華僑、熱心人士捐贈的文物壹起陳列出來，供師生和校外各界人士參觀。它是中國第壹個人類學博物館。
民國二十六年(1937)暑假，向輝自費遊覽閩西，在武平發現了新石器時代的石器和浮雕陶器。這是在中國東南部發現的第壹個新石器時代遺址。他從武平新石器時代文物的研究中，認為石簪、分段石簪、印陶是東南古越人及其祖先的遺物，是我國東南古文化的特色。這些想法被他後來的考古發現所證實，並得到其他考古學家的認可。
那壹年，抗日戰爭爆發，向輝帶著文物和書籍來到南洋。民國27年(1938)，5438年6月+10月，在新加坡參加第三屆遠東史前學者國際學術會議，宣讀了《福建武平新石器時代遺址》論文，受到各國教授專家的高度重視。在新加坡期間，我做過新加坡南洋女子中學的老師和半月刊《超越星辰》的編輯。盡管生活環境惡劣，但我堅持考古學和民族問題的研究，撰寫了《中國馬來人與東南人的同源性》、《南洋族群通論》、《南洋族群與華南古代族群的關系》等論文，並編撰了《菲律賓民族誌》、《婆羅洲民族誌》、《蘇門答臘民族誌》等專著。年底，他陪同菲律賓華僑領袖李俊成前往印度，同時進行考古和民族調查。從恒河流域到尼泊爾邊境，花了兩個多月的時間，獲取了大量印度考古和民族文物的資料。
民國二十八年(1939)冬，任檳城鐘靈中學校長，積極倡導並參與捐錢籌款支援祖國抗日戰爭的活動。民國三十年(1941)，在馬來亞吉大港發現史前洞穴遺址，發掘出壹批舊石器遺物。
侵華日軍侵占南陽後，他投靠後港務農，生活異常艱難。他仍然盡力保存文物和書籍。當時有外國學者想出高價買他的文物書籍，但他始終拒絕，不為金錢名利所動。有壹次，日本憲兵無理搜查他家。他在家裏保存了壹箱古代武器(包括日本的刀劍和槍支)。如果被發現，他會有生命危險。搜查過程中，面對強奸，他坐在箱子上毫不畏懼。結果他沒有被發現，僥幸躲過了這場災難。
民國34年(1945)秋至36年(1947)夏，參加了陳嘉庚主持的南洋華僑救濟會活動資料的編纂和編輯工作，協助刊物的編纂和出版，參與了《南僑回憶錄》壹書的編纂和出版工作。36年夏(1947)回到祖國，仍在廈門大學任教，任歷史系教授。他在教學期間積極支持進步學生運動，反對內戰，並在歷史系舉辦的人類學標本展中傳播進步刊物，報道進步學生活動，引起國民黨特務的註意。民國38年(1949)，國民黨廈門當局在潰退前夕逮捕並關押了向輝。不久，中國人民解放軍攻占廈門，才得以幸免。
中華人民共和國成立後，向輝被任命為廈門大學教授兼歷史系主任，並當選為廈門人民代表、廈門市僑聯副主席。他以極大的熱情參加了社會主義建設。1951年，他將人類學的珍貴書籍捐贈給廈門大學。同時，他積極倡導並主持建立廈門大學人類學博物館，並擔任館長。1955向輝當選為福建CPPCC委員。1957年9月，加入中國* * *產黨。
1951年，向輝參與惠安東土改，根據調查、訪談和收集的實物資料，寫出了《住母系習俗的由來》和《母系制度向父系制度的過渡》，論證了惠安“住母系”(不出夫家)婚俗的特點和由來。應廈門有關部門的要求，他還調查了廈門港漁民的風俗。他還經常到福建各地進行考古調查，先後在龍巖、惠安、永春、閩侯、長汀等地發現了新石器時代遺址。除了撰寫各地遺址的研究論文外，他還撰寫並發表了《中國東南部新石器時代文化特征之壹:端氏》等多篇重要的考古論文，引起了國內外學者的關註。
為了豐富人類博物館的展覽內容，向輝親自和技術人員壹起制作了原始社會和古人類的大型模型，編寫了人類博物館展品手冊，並利用考古發現、民族調查和社會收藏增加展品。
向輝生活非常節儉。他經常用廢紙做稿紙，壹張紙要兩面用。為了節省公費，我出差不坐軟臥，坐硬臥；住酒店不是大酒店，是小客棧，經常三四個人擠在壹起。他經常把自己的東西帶到圖書館去使用。1956年，向輝受高等教育部委托培養壹名考古學副博士研究生。他培養了世界各地的學生，其中許多人已經成為教授和專家。同年10後，向輝發現自己患有高血壓，盡管如此仍堅持工作。她白天去人類學博物館工作，晚上堅持寫手稿和論文。1958年，他還把自己唯壹的壹棟1樓捐給了廈門大學。他熱愛武術，經常在學校運動會上表演，多次獲獎。
他壹生留下了18部專著，70 ~ 80篇論文和譯著。
1958年2月的夜晚，他突發腦溢血去世。骨灰被安葬在廈門大學校園內。