南面正中是杜家祠堂主樓的正門，厚重木門上的彩繪門神高達三米。步入大門，壹面四面鏤空的雙面雕花屏風，將隱約可見的庭院景象分隔開來。畫面上雕刻有“英雄圖”、“太史地”、“漁父農耕”等傳統題材，構思巧妙，雕刻精美。紗門頂上，六根設計精密的柱子搭起壹座頂上有八卦圖的劇場；戲樓上精致的花飾精美絕倫，龍、鳳、蓮、梅等雕刻圖案用方格網雕刻在護欄之間，戲樓屋頂龍騰鳳飛，四角翹起，絢麗多彩。據介紹，當時每逢喜慶日、豐收日、過年日、中國搬家日，宗族都要請戲班在祠堂裏唱戲，這是慣例。
樓下的劇場通過五級臺階進入天井。天井的左右兩邊是廂房，有精致的窗花，厚重的大門，彩繪的圖案和許多雕梁畫棟。出廂房，爬五級臺階約1.2米高，是祠堂“聚賢堂”的正殿，通透開闊。據說這是人們舉行春秋節日或審議黨的地方。
祠堂始建於光緒19年(公元1893年)，完成於1900年。盡管已經過去了壹百多年，這座古廟的建築仍然保存完好。這座古寺的建築巧妙運用磚雕、木雕、石雕等工藝進行裝飾，設計題材廣泛，造型生動，雕刻技藝精湛，體現了川北民間建築裝飾藝術和民間工藝的精髓。堪稱清代建築工藝的寶庫。