袁芳瑛壹生工書善文，酷好收藏書籍，為晚清著名藏書家。晚清著名學者李盛鐸稱袁氏藏書之盛為“二百年所未有”，可見其藏書之多。 同治年間，太平軍失敗，袁芳瑛時任松江知府。時逢江南戰亂結束不久，常州、蘇州等地官私藏書紛紛流落民間。袁芳瑛見後，銳意搜羅，有所見必設法得之，數年後，大江南北舊家典冊“片紙只卷，皆攬有之。”從此，袁氏藏書甲於壹世，號為近代第壹。
不久，袁芳瑛被罷官，由松江返回湖南，運載書籍的船只達數十艘之多。回到長沙府第，袁芳瑛對藏書進行清理，但直到臨終之際，尚未清理就緒。
袁家藏書後被李盛鐸購買，又有壹部分為曾國藩後人曾紀綱所得。
袁芳瑛在江浙做官時，不幸死於任上。其夫人將丈夫袁芳瑛收自東南的善本藏書，“長舸巨艦，載入湘中，寶物因之免劫，其為功德無量”。此後，號稱“天下第壹”的袁氏臥雪廬藏書，就在省城長沙暫時安了家。
不過，“全國第壹”的藏書安家長沙後，袁芳瑛的兒子袁榆生卻“不喜故書雅記，以五間樓房閉置諸籍，積年不問”。
光緒初年，有位督學前往袁家查看他們家從江浙收來的“東南文獻菁華”，卻見“兩層自下至棟，皆為書所充塞，非由書叢踏過，莫移壹步，以書縱橫填垛，即移亦無從遍閱，惟隨手翻之，輒是宋元佳槧而已，最可病者白蟻累累可見，想其中書蝕已自不少。”
袁家有書不讀，人家就會來打主意，袁榆生有飲酒和賭博喜好，於是有人就請他喝酒賭錢，欠下錢後，就以書作抵。而榆生發現了他家書的價值，在第二年，幹脆就請來壹條船，載數百箱書，運往武漢競售，購者麇集。李盛鐸在袁家藏書出來後，購得十分之壹，後來這些書藏諸北京大學，北京大學圖書館因收藏有湘潭袁家流出來的眾多善本，至今被認為是中國古籍善本之亞。
袁榆生在長沙死後，袁家在長沙更加無法立足，於是袁家自省城長沙遷回湘潭老屋。當時袁家臥雪廬藏書尚有數櫥櫃。袁家第三代對這些最後的珍藏本深為愛惜，不許人進書屋。但老屋年久失修，雨水灌入書櫥，很久才被發現。到農歷六月初六曬書日，袁家才發現書頁粘和不能揭開，竟將這些書籍全部焚燒。
與袁氏臥雪廬可相提並論的是嶽陽方功惠的碧琳瑯藏書。碧琳瑯藏書毀於方家第三代，即藏書家方功惠病卒後，其孫子方湘賓在1898年八月用海船將碧琳瑯的全部藏書由海路從廣州運到天津，再轉運北京，然後在北京琉璃廠附近租房出賣，“連楹充棟，排列數十架”。在八國聯軍攻入北京時，方湘賓棄書南歸湖南，留在北京未賣出的藏書，已散佚不少。方湘賓再入北京，幹脆將大部分書籍賣給琉璃廠舊書店店主，不少精美藏書由此流向國外。
道州何氏的藏書，在長沙則散於第五代。道縣何氏名人輩出，繼何淩漢之後，又有何紹基聞名全國，何淩漢、何紹基均為藏書家，但到了何淩漢的玄孫(第五代)、何紹基的曾孫(第四代)，道縣何氏藏書開始煙消雲散。何淩漢有壹位名為何詒愷的玄孫染有鴉片煙癮，於是將何家五世藏書賣往長沙舊書店買鴉片以解其癮。此人在古玩界又稱“何六哈”，不但是善本書籍，即使名人字畫、珍貴拓本亦往往被人騙走。
袁芳瑛臥雪廬藏書、嶽陽方功惠碧琳瑯藏書及道縣何紹基家藏書，均盛極壹時，尤其前兩者，僅在第二三代即讓所有藏書煙消雲散，令人惋惜。