靈璧石的收藏和賞玩稱得上是盛名久享。自古以來，有名的藏石家無不藏有靈璧珍品，有文獻記載的就有蘇軾的“小蓬萊”、範成大的“小峨嵋”、趙孟頫的“五老峰”。風流帝王李煜鐘愛“靈璧研山”；宋徽宗還為常把玩的壹枚靈璧小峰題了“山高月小，水落石出”八字，命人鐫於峰側，並鈐禦印。明人文震亨撰寫《長物誌》，也有“石以靈璧為上”的評判。明朝王守謙《靈璧石考》壹文稱：“海內王元美（世貞）之祗園、董元宰（其昌）之戲鴻堂、朱蘭嵎（之藩）之柳浪居、米友石（萬鐘）之勺園、王百A（穉登）之南有堂、曾蓮生之香醉居、劉際明之吾石齋、劉人龍之夢覺軒、彭政之嗇室，清玩充斥，而皆以靈璧石作供。”
歷史上對靈璧石曾有兩次較大規模的開掘和收藏。壹次是北宋中後期，先是當地人采石築園，或為清供，經蘇軾、米芾等稱揚，名聲愈噪，直到徽宗修築艮嶽石，達到高潮。此後少有人問津，直到萬歷三十七年（1609年）禦史張鴻來靈璧覓石，於雨後在山澗溝壑中采得幾方，以此為端，又開始了壹輪挖坑取石的熱潮。自20世紀90年代中期開始形成的收藏熱則是有史以來的第三次。