自宋初以來，象山島的居民就開始了建縣的努力。北宋元豐五年(1082)，文順鄉人、進士出身的鄂州征糧運糧官梁琪辭官回鄉。不久，他與廣南官員許商議，兩人聯名上書朝廷，要求將香山寨(鎮)升格為縣，但未獲朝廷批準。
70年後，時任象山村官(鎮守海防的武官，縣級)的陳天爵說服了當時主管象山島的東莞縣令姚孝子，他們以“服屬東莞，江面上常被盜，不便運服”為由，要求朝廷將象山島的服由東莞改為廣州“以便輸服”。是南宋紹興二十二年(1152)。
當時南宋抗金形勢相當嚴峻，軍糧處於戰備第壹位，姚、等人所持的理由確實容易打動朝廷。
奇怪的是，翻遍宋史，竟然壹個字都沒有。宋代歷史上，行政區域的“地理誌”中只能找到東莞，根本沒有“香山”二字。明初的《宋史》中沒有這方面的記載。於是問題就來了:明代嘉靖年間編修象山縣誌的黃佐，以及比他更早編修永樂年間象山縣誌的榮禹，成化年間編修象山縣誌的黃靖(據:這兩套早於嘉靖年間的縣誌已失傳)，他們是從哪裏得到象山縣誌的資料的？
雖然由於宋元戰爭，史料有所散失，但元代宋朝的正史中並沒有記載。幸運的是，史料還沒有完全丟失。至少，目前可以在多種史料中找到出處。
時間最早的是李新川(1167-1240)，少年時隨父李舜臣生活在臨安。《史陳順》是寺的主簿，所以李新傳有機會閱讀官方史書，並最終編纂成書。據《建炎年誌》記載:
“(紹興二十二年九月)丙午升廣州象山鎮為郡，邀本道諸部。”
生於清朝乾隆年間的狀元畢淵也有同樣的記載:
“(紹興九月二十二日)丙午升為廣州象山鎮壹縣。”
清嘉慶十五年，翰林院編輯許嵩被任命為全唐文化博物館總編輯時，利用職務之便，將《永樂大典》收錄的宋代官方校訂本《宋·姚輝》編入《宋·姚輝匯編》。該書《郁芳駢》篇“州縣舉棄”也說:
“紹興在22年9月15日把象山鎮提升為象山縣，是我們自己部門請來的。”
所謂“本司之邀”，是指姚、陳的奏折，由當時主管廣東的廣南道行政長官簽字，然後呈送朝廷。
三條都有，不是孤立的證據。所以可以說，香山是2002年9月15日在紹興成立的。
根據中國的傳統歷法，可以推算出今年是農歷的任申年；換算成公歷，建縣日期應該是1152 10 10月14。
按照傳統歷法，也可以發現這壹天是“成功之日”，是祈福、入學、開市、求醫、當仆的吉日。所以為了選擇合適的上諭日期，朝廷確實是有壹番心思的。
然而，朝廷對香山的重視也就到此為止了。朝廷關心的，歸根結底只是香山的糧稅。朝廷從來沒有重視過那個遠離地平線的小島，所以建縣後，17年，根本沒有派縣令到新建的象山縣，只是臨時任命陳天爵作為村官“代理”。陳天爵，壹個無名的“縣令”，壹代17。加上建縣前以村官身份管理象山鎮，擔任象山島行政長官長達27年，這也是象山歷史上行政長官連續任期最長的紀錄。為了紀念他的辛勤勞動，他死後，象山人在他的墓碑上刻了壹副對聯:“英雄的靈魂留在苦苓；吉煒程”。