吳宅在文革中遭到嚴重破壞，百年以上的花木和明代的楠木雕刻《五福生辰》被毀。30多間房子都拆了，只剩下堂屋二廳，西邊的院子變成了五金加工廠和食堂。這座房子壹夜之間被各種居民占據，吳家的後代從此和那四五十戶人家住在壹起。四五十戶人家在劈柴生火，食用油，鹽，醬，醋，雞，狗。原來放雜物的二樓也被人占了，還搭了個煤爐。因此，杭州市文物保護單位五寨，以木結構為主，成為“杭州十大火災隱患”之壹。
自1995起，五寨居民陸續遷出，房屋移交市文物部門修繕。中軸線和東軸線上的建築已經修復。西軸上的建築和假山池塘都已經嚴重損毀，無法想象當時的風土人情。
1999年初，修復後的五寨以杭州傳統工藝博物館、杭州文物監管市場的面貌正式對外開放。2002年，原新華路名宅的古玩店全部搬到五寨，名宅成了專營絲綢的市場。此後，在昔日的豪門中，有48家店鋪，從古董家具到字畫印石應有盡有，所有中國古代的東西都能在這裏找到。