據《正定縣誌》記載，梁清標之孫梁彬，在1760年（乾隆二十五年）秋“以紹興知府未赴，引疾歸田”，春秋漸高，家況愈落。至此，梁氏子孫在蕭蕭落木中，挨到了望族名門最後壹縷回光返照。梁清標作古70年後，他傾註萬千心血的“蕉林書屋”便被他的子孫壹點壹點掏空了。於家道中衰，經濟拮據之際，梁氏藏品必難保全。梁清標壹生潛心搜求的珍藏，未出三代即喪失殆盡，幾經輾轉，於有意無意間散落人間，成為海內外許多大博物館收藏珍品。據載，解放前，梁氏後裔在這裏新建了壹座二層小樓。這處蕭條的小院裏尚存三間硬山頂北屋和兩間硬山頂西屋，門窗已被後人改為玻璃門窗。 據說懸掛在北屋屋檐下的“蕉林書屋”藍字匾額至20世紀80年代尚存。
前院正房為灰瓦硬山卷棚頂。面闊三間、進深壹間。因年久失修頂部已部分坍塌。西廂房面闊二間，進深壹間，已改建成平頂。後院小姐繡樓為二層硬山頂建築。坐東面西，面闊三間，進深壹間，頂部已改建成平頂。蕉林書屋是正定縣城建局公產房。1995年5月10日正定縣人民政府將其公布為正定縣重點文物保護單位。
落敗的蕉林書屋雖然仍舊是銀杏臨窗、石階帶雨，但是歷史的許多記憶讓人們不能忘懷。在梁氏後人不斷呼籲和各方努力下，石家莊市政府已於2009年責成正定縣政府召集相關部門進行深入調研，並邀請省市文物部門領導和專家赴“蕉林書屋”進行專題調研，征詢保護方案，待時機成熟，將蕉林書屋劃歸文物部門管理，石家莊市將撥付專項資金進行管理和修繕。
蕉林書屋恢復後，將按照原有收藏格局，展覽各類文物藏品或復制品，再現其“收藏甲天下”盛況。