吳宅在“文革”時被毀嚴重，百年以上的花木和明代的楠木雕刻“五福獻壽”均被毀滅，三十余間房屋被拆除，只有大廳二廳尚存，西邊的庭院成了五金加工廠和壹個食堂，這宅子壹夜間住進了各種各樣的居民，吳家的後人自此就和那四五十戶人家***處了。四五十戶人家在裏頭劈柴生火，油鹽醬醋，雞雞狗狗，原來放雜物的二樓也住進了人，生起了煤爐，所以這木結構為主的杭州市文物保護單位——吳宅就成了“杭州十大火險隱患”之壹。
從1995年起，吳宅住戶陸續遷出，宅子交給市文物部門加以修繕。現已修復的主要是中軸線和東軸線上的建築。西軸線上的建築和假山池塘均遭嚴重破壞，已經不能想見當時風情。
1999年初，修復後的吳宅，以杭州市傳統工藝館、杭州市文物監管品交易市場的面貌，正式對外開放，2002年，原新華路明宅的古玩鋪子全部騰到了吳宅，明宅成了專營絲綢的市場。自此，在昔日的豪門裏，有了48家鋪子，大到古董家具，小到書畫印石，凡中國古舊物事，都能在此找到蹤跡。