遠在中國的歷史上很早就有金香玉的傳說，它是權貴、價值的象征和體現，在民間流傳著人們熟習的“有眼不識金香玉”、“有錢難買金香玉”之說。據報道，曾在壹漢墓葬中發現，被認為是“金香玉”的玉石，歷經千年而芳香猶存；相傳秦國公主出訪曾佩戴“金香玉”壹塊；日本天皇也曾擁有“金香玉”；清朝地方官員也有將“金香玉”進貢的記載，由於歷代皇族的秘而不宣，故世人就很難識得 “金香玉”的“廬山真面目”了。
在金庸的文學著作，也將“金香玉”引入了《射雕英雄傳》中，.有這樣壹段描述：.“乾隆的詩還少兩句呢,這叫‘有眼不識金香玉,錯把尿壺當茶壺’。”蒲松齡生氣地吼道“妳怨我啊...”。
據報導，第三十屆國際地質大會在北京召開時，大會組委會接受了壹位收藏者的“金香玉”標本，當時傳為佳話，據說這塊“金香玉”後藏於中國地質博物館。
又據報導，在大觀園開幕的“中興杯”第二屆全國奇石瓷藝文化大展上，有壹塊“金香玉”的玉石展出，據說價值連城轟動壹時。
米倉山民間傳說，壹藥農進入米倉山的叢山峻嶺中采摘中草藥時，忽然壹陣清風吹來壹片香氣，藥農向前追索，發現壹壁淺灰綠色蠟狀石頭，香氣竟是從石頭中散發出來，莫非這些石頭就是古人說的“金香玉”，後來不斷傳開，米倉山產“金香玉”，在山區每當天氣晴朗、幹燥時，芳香濃郁，下雨空氣濕度大時香氣清淡。