靈璧石因產在安徽省靈璧縣而得名。早在《尚書·禹貢》中，就有徐州上貢“泗濱浮磬”的記錄。另據《枸櫞篇》載“泗水之濱多美石”。戰國時代齊國的孟嘗君得知後，即譴使者“以幣求之”，分給“諸廟以為磬”。這裏的泗濱美石，就是人們所稱的靈璧石。
此後壹段歷史時期，直至唐以前的墨人騷客、官宦達貴，在文獻中對靈璧石提及的甚少。但作為壹種石文化現象，必然隨著社會的發展而形成和發展。春秋時代《闋子》裏曾記述了“宋之愚人”因收藏奇石而遭人嘲笑的故事。秦漢直至南北朝時期，有關賞石的記載多限於皇家宮苑和貴族園林。被後人尊奉為賞石祖師陶淵明醉臥的‘醒石’，也並沒有確指是哪壹石種。所以說，靈璧石同其它奇石壹樣，在這個時期，人們對它的認識還比較模糊。
唐代社會安定，文化繁榮。文人騷客，詩酒風流。他們將奇石引向民間，引進書房客廳。面對奇石，詩興勃發。靈璧石堅貞鏗介，不亢不卑，且峰巒洞壑，巖釉奇巧，清潤奇秀，色彩艷麗，自然引起他們的***鳴與喜好。壹些著名詩人如白居易、劉禹錫、杜牧等都是靈璧奇石的愛好者。白居易在今宿州毓村東林草堂居住，常徜徉於靈璧山水之間，將奇形怪狀的靈璧石置於中庭，支琴貯酒，傲嘯觴詠，白居易還在總結玩石經驗的基礎上，提出了著名的“愛石十德”，比較全面地概括了玩石的文化意趣，為賞石理論的發展奠定了基礎。
宋代是靈璧石文化的繁榮期。而開“癡迷型”賞石風氣之先的，則是這壹時代那位多愁善感，極富藝術家氣質的南唐後主李煜。
李煜祖籍徐州，繼承父誌，置硯務官開發靈璧研山和皖南歙硯。自此靈璧石開始名揚四海。是時，李煜藏壹方研山（中有墨池的奇石），為稀世之寶。據《靈璧石考》記載，這方研山徑逾尺，***36峰，各有其名，峰洞相連，錯落有致。下洞三折而通上洞，中有龍池，天雨津潤，滴水少許於池內，經久不燥。後這方研山幾易其主，成為藏石史上的壹段佳話。
宋代出現了蘇軾、米芾這兩位中國賞石史上最富傳奇色彩的大藝術家。
蘇軾任徐州太守期間，酷愛靈璧石，曾數次到靈璧縣覓石清供。他賞石、玩石的性格，就和他的性格壹樣豁達、磊落。為了換取壹方“麋鹿宛頸石”，他潑墨作《醜石風竹圖》貽之主人。靈璧張氏蘭臯園壹石甚奇，稱“小蓬萊”，他索取後題其上曰“東坡居士醉中觀之灑然而醒”，對其珍愛有加。他調離徐州外任，還專程到靈璧拜訪張氏花園主人，應張氏之邀，寫了壹篇《靈璧張氏園亭記》，留傳後世。壹次，他偶得壹石，高興至極，竟喝得酩酊大醉，躺在雲龍山北麓壹塊巨石上呼呼大睡。半夜酒醒，看滿天星鬥，亂石縱橫，詩興大發。揮毫寫下了“醉中走上黃茅崗，滿崗亂石如群羊，崗頭醉倒石作床”，的千古詩句。從此，這塊石頭就叫做“東坡臥床”。古人今人來臥床前登石憑吊，不乏題詩作畫者。如同米芾拜石壹樣，成為千古佳話。
如果說蘇東坡在賞石史上的貢獻主要在於實踐，那麽米芾作為北宋著名的書畫家，則在蓄石、賞石的過程中，常常獲得書畫創作的靈感，又將自己的書畫創作理論用於品石，提出了“皺、瘦、漏、透”的四原則。此四原則，至今仍為當今評價奇石的基本原則。為賞石理論的完善作出了貢獻。至於“米芾拜石”的故事，對後世賞石的影響，更是難以估量的。
葉夢得，南宋文學家，也是位石癖。他在《石林記》裏寫到：好石良是壹癖，古今文士，每見於詩詠者，未必真好也。其好者，正自不能解。余紹興間春官下第歸，道靈璧縣，世以為出奇石。余時臥病舟中，聞茶市多而求售，亟得其壹，價八百，取之以歸。探所有七百金，假之同舍，而不覺病頓愈，夜抱之以眠。知余之好石，不特其言。自行其壑，刳剔巖澗，與藏於土中者，愈得愈奇，今巖洞殆十余處，而奇石林立左右，不可以數計，心猶愛之不已。這位老先生對靈璧石癡迷到如此程度，得壹石，競抱之睡覺，高興得連病也好了。他的“每見於詩詠者未必真好也“，“其好者，正自不能解和“心猶愛之不已“的感慨，正說明了他癡迷到石人合壹，人石相融，能與石“溝通“，視石非石，如夢如幻的境界，這正是靈璧石無窮魅力之所在。
說到靈璧石的發展史，不能不提到宋徽宗禍國殃民的《花石綱》。從公元1051年宋仁宗到靈璧縣（時虹縣）采靈璧磬石，征集古樂譜，到宋徽宗在開封平地建“艮嶽”，期間成百年間，征用了大量的靈璧石。“艮嶽”中以靈璧石為獨立景觀的幾十座。其中最有名的壹方靈璧石，體積龐大，被賜名為“慶雲萬態奇峰”，還有“金鏊玉龜”，“望雲龍座”等。傳說壹方靈璧奇石，高二十余尺，舟載至開封後，破城墻而入，千夫擡至不動，徽宗說；“此石乃神物也。”乃以金帶披掛石上，方才移至苑中。從壹定程度上刺激了靈璧石的開發，至今徐州博物館乾隆行宮還藏壹方花石綱遺石。
在石文化昌盛的宋代，還出現了《雲林石譜》這樣經典性的賞石專著。《雲林石譜》匯載石品壹百壹十六種，靈璧石被列為第壹品，贊稱靈璧石為石玩之最，奠定了“天下第壹名石“（清乾隆語）的基礎。宋末，又有“宣和石譜“問世。由於帝王及士大夫的宣揚與收藏，靈璧石譽滿天下。
明清是我國奇石文化集大成的時期。品石專著層出不窮，賞石理論更加完善，嚴密；壹些將校士兵，販夫走卒，農夫工匠，也走進了收藏奇石這個高雅的行列。
明朝最有名的藏石家當推人稱米太仆的米萬鐘，乃米芾之後裔。他心清欲淡，獨嗜奇石成癖。宦遊四方，袍袖所積，唯石而已。他藏之靈璧石，無不奇巧殊絕，各具形勝。其中壹方狀若飛雲欲墮，後刻有“泗濱浮玉“四篆字。又有壹方靈璧石，已流傳了數百年，其珍無比。米太仆請大畫家吳文仲作畫，請大名士董其昌作“跋“，對其珍愛有加。
清代的愛石者中，最值得壹提的是曹雪芹和蒲松齡。這兩位偉大的文學家的人生道路都很坎坷，他們發奮著書，寄托自己的“孤憤”。《石清虛》壹文,就是蒲翁愛石如命的自我寫照.故事中的順天人刑雲飛“好石,見佳不惜重直.” 壹次，他獲壹奇石，“四面玲瓏，峰巒疊秀”。喜極，如獲異珍。配以檀趺，供諸書案，以命相許。可卻屢屢為豪強奪走。刑雲飛矢誌不移，直至欲以性命殉石。蒲松齡把石、人、神融為壹體，表現了對奇石的壹往情深。曾被蒲松齡珍藏的壹方歷史名石“海嶽石”，現珍藏在蒲松齡紀念館內。此靈璧石被列為國家珍貴文物。
明清時期，賞石理論更趨於完善。曹昭《格古要論》，對靈璧石作了中肯的評論。《素園石譜》、《靈璧石考》等都對靈璧石給以極高的評價。“楊州八怪”之壹的鄭板橋，更是完善了宋人的賞石觀，在“瘦、透、皺、漏”的基礎上，進壹步提出了“醜而雄，醜而秀”，方臻佳品；醜到極處，便是美到極處的“醜石觀”。
明清時期，眾多的文人墨客不僅收藏靈璧石，還以齋館中懸掛靈璧石制品“編磬”和工藝品為雅事。風流皇帝乾隆下江南，不僅題寫了“天下第壹名石”，還把江南不少名石運到北京。禦花園和中山公園社稷壇中的假山中，都有靈璧石。園中刻有乾隆題寫的“繪月”和刻有“青蓮朵”的，也是靈璧石。
到了近、當代，把玩和收藏靈璧石的名家也是層出不窮，但研究靈璧石方面，未有多少突破。四十年代後，奇石文化曾壹度中落了幾十年之久。
20世紀80年代末，改革開放的春風吹綠了中華大地，壹度被冷落了的靈璧石又重新浮出水面。壹些有經濟頭腦的人到靈璧石產地“尋寶”。靈璧石特有的內在魅力，壹旦被抹去身上的浮塵，必然會發出璀燦的光輝。當地農民把采掘靈璧石作為壹個致富途經。1991年，中國寶石協會在北京召開了觀賞石籌備委員會，之後各地協會紛紛成立，國家園林部門也以奇石為重點舉辦每兩年壹屆由政府承辦的奇石展，開拓了奇石市場的長河，靈璧石在此行列中成為各地石館的必備藏品，90年代中期，是靈璧石走向市場的輝煌之日，洶湧而來的經濟大潮，使得已臻溫飽的普通百姓也開始有興玩石。靈璧石的主要產地漁溝鎮奇石市場有大小石館300多家。徐州作為漢文化的發祥地，緊鄰靈璧石產地。得天獨厚的地理條件和優厚的經濟實力。使成批量的靈璧石上品石湧入徐州。位於徐州風景秀麗的雲龍湖旅遊勝地的徐州靈璧石館，被中國收藏家協會列為我國十大優秀藏石館之首。壹些機關工作人員，離、退休幹部、教師及企業集團的老總們，以收藏靈璧石珍品為雅好。壹些人還在北京、廣州、煙臺等地開起了石館，更有壹些石商，往來穿梭於靈璧石產地與全國各大城市之間，把成千上萬噸的靈璧石輸送出去，為靈璧石的流通做出了貢獻。1999年，王晨先生自籌資金辦起了“徐州奇石網站“，匯存了靈璧石精品，靈璧石正以暫新的姿態走向世界。
無可否認，直到如今，文化素養深厚的人們仍為藏石隊伍的核心。這些人豐富的文化底蘊和閱歷，在社會上有壹定的影響力。在奇石文化高檔次層面和圈子的輻射下，整個藏石隊伍受到了提攜和指導。這其間，出現了壹批藏石豐富的藏石家。
在靈璧石熱中，各種石玩書籍與畫冊相繼出版。1996年《中國石玩石譜》中，列舉靈璧石28大類198品石，並作了分類列譜的嘗試。2000年9月，張訓彩先生所著的中國第壹部關於靈璧石專著《中國靈璧奇石》壹書出版。2002年12月，安徽省美術出版社出版了《中國靈璧石》畫冊。2002年2月由徐州市石文化研究會，總編輯王文正先生編著的《中國靈璧石譜》壹書出版。這些賞石專著的不斷問世，說明了靈璧石文化發展到了壹個新的水平，標誌著靈璧石文化的中興。
近年來，靈璧石文化得到空前的發展。靈璧石越來越引起中外藏石界的矚目。然而，物及必反。目前存在的突出問題，壹是濫挖濫采現象嚴重，在壹定程度上破壞和浪費了靈璧石的資源。二是壹些功利主義者為了從中牟利，煞費苦心地巧施伎倆，大掄斧鑿，蒙騙世人，也在壹定程度上損壞了靈璧石的聲譽。也有煞有介事者小題大做，借靈璧石之小弊，以弊蓋全，以點代面，詆毀靈璧石之美譽。這些，已引起了當地政府及有識之士的充分關註。
“靈璧壹石天下奇，聲如青銅色碧玉”。風流數千年的靈璧奇石，沐浴著春風，在歷史的長河裏，必將更加璀璨輝煌。