靈璧石就產在安徽省靈璧縣。據說古人以“靈璧”二字名縣，是取其“山川靈秀，石皆如璧”之義，使得物與地同名，石與璧並駕，可以想見人們對靈璧石何等珍愛了。靈璧縣東北部綿延十幾座山脈中都產有靈璧石，其中又以磬雲山之靈璧石最為著名，遠在三千年前的殷代就被人們發掘並用於制作當時重要的樂器——特磬，因此又被稱為“磬石”和“八音石”。此石黑亮如漆，石質細膩潤滑，且叩之有聲，音韻悅耳動聽，為靈璧石中華之珍品。靈璧石不但聲美（玉振金聲，清越悠揚）、色美（五彩紛呈，光亮潤澤），其形更美，天上飛禽，地下走獸，人類精靈世上萬物，無不包羅。均是不假雕琢，渾然天成，令人嘆為觀止。而且石質堅貞，硬度在6-7度之間，是“石之堪作玩者”（明 王守謙《靈璧石考》）。宋代詩人方巖還專門寫了首長詩《靈璧磬石歌》，贊曰：“靈璧壹石天下奇，聲如青銅如玉》…………”
靈璧石不僅開發早，而且盛名久享，在奇石家族中歷來占據著顯赫的地位。宋代杜綰所著的《雲林石譜》匯載石品116種，靈璧石被放在首位介紹，且評述文字最多；明人文震亨撰寫的《長物誌 水石章》中稱：“石以靈璧為上，英石次之”；清代趙希鵠在其所著《洞天清祿集 怪石辨》中也把靈璧石排在第壹位，並說辯靈璧石的特點和真偽：“色如漆，間有白紋如玉，叩之聲清越如金玉，以利刀刮之略不動。”“偽者多以太湖石染色為之，蓋太湖石亦微有聲，亦有白脈，然以利刀刮之則成屑。”另外，明代林有麟的《素園石譜》、張應文的《論異石》、清代謝的《金玉瑣碎》等專著中都對靈璧石進行了詳細的記載，並將其放在重要的地位。明代的王守謙還著有《靈璧石考》，專門研究和探考靈璧石。
歷代的壹些文人雅士也與靈璧石結下了不解這緣。據《蘇子瞻集》載：宋元豐八年，東坡離黃州去金陵、揚州等地，道經靈璧，訪張氏蘭臯園，見壹塊“作麋鹿宛頸狀”的靈璧石，甚愛，意欲得之，乃作《醜石風竹圖》於張氏臨華閣璧上，主人喜，以此石相贈。嗣後，東坡先生還專門作《靈璧張氏園亭記》壹文以表紀念。“石癡”米芾更與靈璧石結下奇緣，以至每見靈璧石必拜，並口稱“石兄”。據《靈璧誌略》載：“米上司楊傑曾攫得他壹塊心愛的靈璧石，”米以楊奪其所最，罔然自失者累月，屢以書請之，競不復得。“留下了壹段兩賢相爭的佳話。乾隆皇帝受靈璧石之美所染，禦賜其“天下第壹石”的美號。薄松齡也是靈璧石的藏家，至今在其紀念館仍陳列著他當年收藏的數件靈璧石珍品。
靈璧古石，尤其是其中的名石，稱利舉步之寶，然滄海桑田，歷遭百劫，現存世者寥寥。今靈璧縣城西關電影院西側，為北宋蘭臯遺址，有靈璧石壹座，瑰偉異常，是故園遺址，北京的壹些公園亦多處存有靈璧古石，如社稷壇西門外小土山之南的壹座靈璧石，上面刻有乾隆禦書“青蓮朵”三字，原是南宋杭州德壽宮的陳列物，乾隆南巡時運往北京的，瓊花鳥上普安殿、正覺殿、見春亭、巒影亭壹帶的假山，其中有不少靈璧石，嵯峨峭峙。故宮禦花園欽安殿左右的假山，亦有很多靈璧石散疊其中。另外，蘇州網獅園“看松讀畫軒”和“冷泉亭”內各有靈璧石壹座，特別是冷泉亭中的壹座，狀如蒼鷹殿翅，玲瓏剔透，色極清潤，摩挲聲響，是靈璧石中難得的珍品。廣洲南方戲院內有壹座靈璧石，高丈余，立於藥洲水上，黛色熒熒。氣貌岸然，當時命名“九曜石”，上有熙寧諸公題銘，其中以北宋書法大家米芾所書“藥洲”題刻最為著稱。河南開封相國寺內尚存靈璧石壹座，座下鐫刻“艮嶽遺石”四字，據考為北宋遺石，彌足珍貴。
靈璧石歷史上曾有三次較大規模的開掘。壹次是北宋中後期，先是當地人士采石築園，或為清供，經蘇軾、米芾等稱揚，名聲愈噪，直到徽宗修築艮嶽石，達到高潮。此後即少有人問津，這種局面壹直持續到明萬歷年間。王守謙稱：“國朝垂二百六十余年，寥寥無聞，即問之士著者，亦竟不知靈璧石為何物。”萬歷己酉年（1609），有壹個叫張鴻的禦史決心來靈璧覓石，乘雨後在山澗溝壑中采得幾方，以此為端，又壹輪發坑取石的勢潮開始了，販石者接踵而至，王守謙甚至擔心在過量的采掘中，當地的靈璧石將成“廣陵散”。第三次采掘熱近幾提的事，隨首奇石勢興起，海內外來靈璧求石者日人，於是當地農民視采石為致富途徑，日夕奔走於山間覓石。壹些當地人驚呼：靈璧石資源已瀕臨枯竭！並建議政府部采取積極有效措施，禁止濫采亂挖和盲目流失，盡快建立壹座“靈璧石藏館”，收集與保護靈璧石精品，以饗後人。