自唐宋以來，許多文人墨客都對雨花石情有獨鐘。據說宋代大文學家蘇軾曾經用蛋糕換過小孩子撿的雨滴。著名畫家米·萬中也出高價收藏雨花石。相傳，曹雪芹少年遊覽雨花臺時，遇到許多人撿雨花石賣。因此，有人認為是雨花石激發了曹雪芹將補天女神留下的壹塊彩石變成通靈寶玉，完成了不朽的傑作。
雨花石是明清時期著名的觀賞石，有壹石數金之說。明代編撰的《園冶》記載:“柳河縣的靈居巖，產於沙土和水中的瑪瑙石，頗為精細。有拳頭大的，純白五色的，純五色的；它溫暖而明亮，有彩色的圖案，地板像織錦壹樣。或集溝壑流水，自然清。”明初朱元璋的孫子孫雲來收集了數以千計的雨花石。朱元璋六十大壽，在眾多王公大臣的禮物中，讓龍族欣喜的是“長命無疆”四個大字和壹塊形似桃子的雨花石。即位後，桃核將置於宮中。
到了現代，雨花石受到了更多人的喜愛。梅蘭芳收藏雨花石。周恩來在南靖梅園時，也把雨花石放在水碗裏，放在書桌上。郭沫若曾為此寫過壹首詩:“...寧靜、清澈、堅實、無私的雨花石，仿佛象征著主人的精神。”