在文革轟炸石人峰之前，山頂上有壹塊孤立的石頭，看起來像壹個老人坐著，雙手摸著膝蓋，有脖子，有肩膀，有身體，有無頭的頭。關於石人有壹個傳說:靈山中藏著壹個邪惡的龍神，他要把江西變成大海。“世賢大師”在內廷受老君委派，化為樵夫將其制服，後見靈山俊秀便定居於此。經常和李老鎮君下棋，但技術差，輸的多。久而久之，心裏就有了落差。有壹天，對李老鎮說:“這三盤輸贏。如果我輸了，我的頭會被砍掉。輸了，峰下眾生旱澇三年。”李老珍知道世賢手裏有壹頂“性帽”，可以呼風喚雨。如果任其發展，後果不堪設想。世賢輸給了李老鎮軍，老鎮軍用劍，人頭落地。第二天，石賢福邀他下棋，又輸了。第三天，石賢又邀請他去玩。日復壹日，每砍壹個頭，就長出壹個頭。李老真的很擔心。長此以往，總有壹天會給人民帶來災難。觀音感應到了這壹點，把它變成了壹只飛過的鳥:“冷水燙脖子，冬草割脖子！”“神仙頭掉了，再也沒有投胎，變成了無頭石人。它的頭滾到了峰頂的西北方，鮮血染紅了柴火。時至今日，每到深秋，長草都呈現暗紅色，留下了“八面靈山七面寶，壹面無寶長茅草”的說法。世人為了紀念它，在石人堂旁邊建了壹座觀音閣，石人堂也因此而得名。(原名“李將軍廟”。)