獺窟人世代流傳壹個有趣的傳說。
從前，有壹個得道和尚，來到泉州獺窟島化緣，要在島上建座寺廟。他探聽到“辛長者”是獺窟島首富，就問他要兌銀子。辛長者隨口應道：“兌壹袋銀子。”即兌滿壹布袋銀子。和尚誤以為是壹塊銀子，也不再落實壹下，就不辭而別，心裏暗暗咒罵辛長者，並寫了黃紙牒文呈送天庭玉帝，讓玉帝責罰他。過了幾個月，辛長者不見和尚來扛銀子。就親自派人把壹大袋銀子扛去給和尚。和尚壹見這麽多銀子，恍然大悟，知道冤枉了好人，頓時大驚失色。事已至此，只好通知辛長者到外地避難。他匆匆忙忙趕到辛長者家中，高聲大叫：“辛長者啊，事情不好了，大難臨頭，趕快逃走!”辛長者像丈二金剛摸不著頭腦，不知禍從何來，忙問何故。和尚如實相告。辛長者覺得當初自己沒把話說清楚，難怪和尚聽錯，於是立即收拾家中細軟，整理行裝遠走他鄉。
話說和尚化緣有了相當多的銀子，就大興土木建造寺廟。寺廟尚未建成，忽見壹位須發斑白的老人站在寺前高喊：“此地是曾家祠，不是僧家寺。”和尚認為這是土地公顯靈告誡他，所以寺廟還沒建好，就放火燒掉，半途而廢。
明洪武間，附近果然建壹座曾氏宗祠，於是，“曾家祠，不是僧家寺”的說法就傳得更玄了。
現在這座寺廟廢墟基址上有4根石柱並排，據說是當年和尚建寺的柱子。據清道光四年（1875年），曾枚著《獺江所知錄》載：大德四年（1300年），居人復稠密，日益富饒，創建有三教堂大寺基址二所，石柱狻猊(石獅)，浮屠(石塔)高達精巧，雖名山寶剎不過也。
20世紀50年代，曾在這裏挖出瓦片、木炭。這可能是火燒的遺跡。
1985年，獺窟島居民在三教堂大寺附近的沙灘上發掘出5座元朝石塔，塔上鐫刻的文字標明是“大德癸卯、甲辰(1303～1304)建造”，距今已有700多年的歷史。從石塔的文字和圖像看，當時和尚的確曾建造過寺廟。