綜述
平生無其他嗜好，以談經史、古籍為樂，明壹代典故，了如指掌。精於鑒別書畫，家收藏頗富。在京師任職時，曾手抄經學書籍200余冊，藏於“萬卷樓”中。當時與河北藏書家梁清標、汴中藏書家朱睦木挈 以富藏書而著稱壹時。明亡之年，有藏書7萬余卷，被付劫灰。後又繼續收藏，告老還鄉後，閉門收書，擁書萬卷，撰《兩朝典故編年考》百余卷。繆荃孫記其“京師收藏之富，清初無逾孫退谷者。蓋大內之物，經亂皆散逸民間，退谷家京師，又善鑒賞，故奇跡秘玩鹹歸焉。”藏書處有“萬卷堂”、“歲寒堂”、“研山齋”、“玉鳧堂”等。其藏書印有“北平孫氏研山齋圖書”、“長宜子孫”、“八十壹翁”、“孫氏萬卷樓記”、“北海孫氏收藏印”、“退翁”、“孫承澤印”、“退谷老人”、“思仁”、“深山閉戶”、“北平孫氏”等多枚。晚年藏書流散後，大部分歸於北平藏書家黃叔琳。
孫承澤的收藏活動，是與他的宦海生涯並行的。早在退居以前，政務之余，就開始收集和研究書畫。他所藏書畫作品，有的在明朝滅亡後得自於故明大內，有的為朋友相贈，大多數為自己所購求。得之故內 孫承澤生活於明末清初改朝換代之際，此時明朝內府及許多私家收藏都因戰亂而大量散失，使他有機會得以收集，因而他的藏品不少來源於明朝內府。在所著《庚子銷夏記》中，多次提到其所藏得之故內：
甲申之變，名畫滿市，獨無浩畫，壹日見從故內負敗楮而出者，浩畫在焉。甲申，指公元1644年，為清順治元年、明崇禎十七年，這壹年，明朝滅亡，李自成占領北京又敗走，清兵入關。余從故內得漢啤四種。余求關同畫不可得，忽於故內得壹幀，已壞絕而畫體不傷。
清詩人王士禎在所著《池北偶談》中，記載唐朝畫家閻立本的《孝經圖》，褚河南之法書為“故明大內物，後歸孫北海侍郎承澤家”。宋犖在跋王維（傳）畫《濟南伏生像》時說：“不知何時取入大內，鼎革時散落人間，為孫侍郎退谷先生所得。”
朋友相贈 孫承澤鑒賞書畫，在當時已經頗負重名，不僅古董商人持畫來售，朋友們來往也多以古書畫相贈。明末時就和著名收藏家袁樞（袁可立子）互有往來。在《庚子銷夏記》中，記有王詵《設色山水》卷：“曹秋嶽（即曹溶）贈余壹卷，布景不多，悠然有海闊天空之妙。”沈石田（即沈周）《江山壹覽圖》卷：“在開封王半庵惟儉家，張孝廉民表購以贈余，今相依三十余年矣。”
收藏印記 孫承澤的收藏印記，在流傳至今的書畫作品中，仍可見到二十余方。目前所見姓名章有七種：孫氏、孫承澤印（五種）、承澤。隱居西山退谷後所用的收藏印記有八種：深山閉戶、退翁（二種）、退谷、退谷老人、退谷逸叟、八十壹翁、八十二翁。此外尚有思仁、研山齋、長宜子孫、北平孫氏硯山齋圖書、北平孫氏珍藏書畫印。題畫 孫承澤在自己喜歡的書畫上，多作題跋，敘之流傳或記之由來，抑或抒發感慨。他在吳仲圭《松泉圖》上題道“吳仲圭壹代高士，繞屋植梅，隱居讀易，知元之將亂也。自稱梅花和尚，喜畫竹而松尤妙，備見孤高特立之致。《松泉圖》，尚見沈石田臨本，今見廬山真面目矣，退谷八十壹老人記。”孫承澤在崔白的《蘆雁圖》上題詩壹首，暗寓自己的隱居生活：“白露蒼蒼已結霜，蒹葭深處獨徜徉。羽毛無損性情適，不羨高岡有鳳凰。”
賞畫
盡管孫承澤的書畫鑒藏活動開始得很早，但是，潛心賞畫、跋畫以及研究書畫，還是在離開政壇以後，現在所見孫承澤留在書畫作品上的題跋，大多為其隱居時期所作，有的書畫壹次次拿出，反復欣賞，多次題跋：“家有小室，入冬則居之。其中置揚補之所畫竹枝，趙子固水仙，王元章梅花三卷。繼得吳仲圭古松泉石小幅，長條，仿宣和裝，改而為卷。余以八十之老婆娑其間，名曰‘歲寒五友’。四賢皆奇特之士，余不得見其人，數百年後撫其遺墨以為友，嗚呼！歲寒之友，豈易得哉！退道人再記。”
以書畫補史證史 孫承澤同時也是壹個史學家，又有專門的史學著作。因而，孫承澤在鑒賞書畫的時候，除了註意其真偽、藝術價值及書畫家本身的問題以外，特別註意以書畫實物來補充史料記載之漏，糾正其記載之誤，這是孫承澤獨具的對書畫功能的新看法。他在記載閻立本《十八學士圖》時道：“沈存中跋學士圖謂，圖稱房玄齡字喬年，薛莊字元敬，陸元朗字得明，姚柬字思廉。而唐書稱姚思廉字柬之；房喬年，字元齡，以字行；陸德明、薛元敬即其名也。”以是證史之誤。
藏品的去向
孫承澤的藏品，當他在世的時候，就已經開始散失。他著《庚子銷夏記》時就感慨過去所藏書畫，失去大半，有的失之戰亂，有的散之友人。而鑒藏家本人去世，子孫後代不 甚愛惜或力不能守，致使其所藏書畫大量散失。這些書畫除壹部分直接被收入內府，所余有的落入著名書畫鑒藏家之手，有的落入市賈之手，有的落入官僚之手，情況就比較復雜了。
藏品的著錄 孫承澤隱居西山以後，於庚子年（1660年）六月，完成了他的書畫著錄《庚子銷夏記》。
該書因始著於四月，六月成書，故而名曰《庚子銷夏記》。全書***八卷，著錄自己所藏書畫及所寓目書畫。