唐、五代以後，山麓江邊街市興起，稱潭尾街，宋代書法家米芾手書“全閩第壹江山”石碑立於山麓，因此南臺山就有全閩第壹江山的美譽。由於人們對閩越王廟的崇拜，南臺山到清代後又改稱為大廟山。大廟山自古以來就是文人墨客登臨遊覽懷古之處。元代詩人範德機有詠余善釣龍臺的詩曰：“海角釣龍人杳，雲間待雁路迢。若為借得山頭石，每到高秋坐看潮。”更多的詩是登臨釣龍臺懷念無諸，如明初著名詩人王恭《題無諸廟》詩曰：“野廟大江畔，瀟瀟樹色寒。斷碑荒草蔓，畫壁古苔幹。龍去春潮在，猿鳴海月殘。英雄那可問，東逝更漫漫。”可惜的是，閩越王廟於1922年因失火被燒毀。
如今，大廟山閩越王遺跡地已成為福州第四中學校址。米芾寫的碑文已遺失，後人陸某補寫了壹個碑，現立在福州四中內。.現在尚存的遺跡除“全閩第壹江山”石碑外，還有釣龍臺、釣龍井、登高石，而最重要的古跡閩越王廟還未重建。