段方也是中國第壹所幼兒園和省立圖書館的創始人。光緒三十壹年(1905)，赴歐美考察各國政治，次年回國，建議清政府準備立憲抵抗革命運動。近代公共圖書館的先驅，在訪問外國時，發現外國首都沒有官方的公共圖書館機構，公共教育的普及讓他耳目壹新。因此，他呼籲建立公共收藏機構——圖書館，成為圖書館建立和發展的推動者。他為江南圖書館、湖北圖書館、湖南圖書館和史靜圖書館等中國最早的官方圖書館的建立做出了巨大貢獻。為了完成中國封建圖書館向近代圖書館的轉變，它在促進中國古代文獻保存方面發揮了重要作用。光緒三十三年(1907)，江南藏書家丁丙做生意虧了幾百萬，想把自己的書賣掉。怕“八千卷樓”重蹈“宋樓”覆轍，他要求政府以75000元購買丁丙的書籍，藏於江南圖書館(今南京圖書館)。
他還把二十多個年輕女孩送到日本學習師範教育。從政之余，段方癡迷古董收藏，是中國著名的收藏家之壹。他還喜歡收藏書籍，收藏相當豐富，有很多精品。藏品名為“包華寺”和“陶齋”，藏品上印有“樂道大師真鑒”和“端方收藏”。與佩利奧特等人保持良好關系。在海外考察期間，他還收藏了古埃及文物，成為近代中國收藏外國文物的第壹人。
段方在四川去世後，他的子女因為貧困，將自己最著名的藏品——壹套商青銅器，以20萬兩左右的價格賣給了民國十三年(1924)的大都會美術館。