對讀者來說，黃裳也許只是著名的散文家，但業內人士都知道，黃裳老先生是藏書界的泰鬥。“黃先生喜好收藏明清版本的古籍善本，像是明刻本、清刻本等等，在這方面他是國內壹流的。”陳子善說，“黃先生不僅僅是藏書家，還是版本學家，這兩者是有區別的，不是所有人都能做到的，黃先生就做到了。妳看他寫的書就知道他有多少藏書。黃先生出過很多文集，介紹他的藏書，從怎麽得來的，到版本考證等等，他做得非常細致。”
年輕時候的陳子善，經常登門向黃裳老先生求教。“我跟他認識了三十年，以前經常向他請教書，我做周氏兄弟研究，他對此也多有關註。我年輕的時候，每個星期天去舊書攤買舊書，他就經常問我買了什麽書。其實我買的書都太普通了，入不了他的法眼的。”由於經常拜訪，陳子善對黃裳的書房印象頗深：“我還記得他沒搬家之前，那個房子比較小，他的飯廳、客廳裏全部是書，都堆到了天花板，所以不論哪裏都是他的書房。但是他把書整理得很好，都拿牛皮紙包著保護著，是非常愛書的人。”
黃裳老先生藏書無數，而他最為得意的壹本藏書，是他自己寫的《錦帆集外》。“這本書是巴金文化生活出版社給他出版的，後來他自己印了壹部線裝本，他非常得意啊，那是唯壹的壹部，孤本啊，全世界就這麽壹本。他自己寫的，自己印的，自己藏著，真是玩書玩到家了。”陳子善說。
黃裳老先生的散文集很多，陳子善認為，黃裳的散文開創了壹種文體。“我覺得他可以說是文體家了。我個人非常欣賞他的散文。無論是遊記、讀書筆記、寫人、寫題跋等等，他在散文的領域耕耘了那麽多年，是個大家。今年上半年黃先生還有文章在報紙上發表，筆耕不輟，壹直做到了最後。壹代散文大家去世，太可惜了！”
早在少年時，對古籍閱讀和收藏就產生了興趣，抗戰勝利後，返回上海，結識了史學家吳晗，對明清文學情有獨鐘，並在與吳晗的交往中，開始收藏歷史文獻。他以收藏以明清易代之際的野史、筆記為專，其中不乏稀世的孤本。如祁汝森藏《祁宗規奏疏》、祁承火業《兩浙古今著述考》稿本、《淡生堂文集》、《淡生堂別集》崇幀刻本，祁承火業 家書32通，祁承火業 手抄、祁駿佳題名《老子全抄》、《易測》，祁彪佳《守城全書》、《曲品》稿本、《置頭役田書冊》、《按吳政略》刻本，祁理孫、祁班孫手批《水月齋指月錄》、《五朝註略》、祁駿佳《禪悅內外合集》稿本，以及寓山園藏書《吳越詩選》、《國史紀聞》、《禮記集說》和祁承火業 、祁彪佳鄉試原卷等，計數十種百余冊。其庋藏之富，堪與阿英、鄭振鐸等當代藏書大家比肩。為了收藏壹本崇禎刻本《吳騷合編》，不惜用幾三輪車的明清刻本換得。曾以壹元壹冊購進明末“淡生堂”祁氏稿本數冊,其中手劄4通,均為反清禁品。平生訪書甚勤,又精於鑒別。他寫有《清刻之美》壹文，記經目之清代書籍之佳，談版刻、談字體、談紙張墨彩以至行距排版等，評價極為中肯。其收藏多明清刻本、善本。“文革”中被查抄的藏書裝滿幾輛卡車，其中壹些珍品被康生所竊奪。其藏書處為“來燕榭”，藏古今中外各類圖書4萬余冊。他的書話作品對中國藏書文化貢獻頗大。書話的主要作品有《錢牧齋》、《姑蘇訪書記》、《蘇州的書市》、《常熟聽書記》、《訪書》、《訪書瑣憶》、《故人書簡——葉聖陶書二通》等，都是他歷年來訪書和購書的經歷和感想。其中以《榆下說書》博得讀書界壹致的承認，“不脛走萬本”。他的書話劄記，筆涉書人書事，凡讀書、買書、訪書、求書、遇書、淘書、藏書，以及版本、刻工、裝幀、題跋、紙張、墨色等有關書的論及，都有娓娓道來、意趣盎然，追根溯源之功力。
其藏書處所為“來燕榭”，藏書印有：“黃棠藏本”白文方印、“黃裳壬辰以後所得”朱文長方印、“木雁齋”朱文方印、“草草亭藏”朱文長方印、“來燕榭”朱文長方印、“黃裳青囊文苑”朱文長方印；“黃裳”，朱文，五枚；壹朱壹白，壹枚；連珠，朱白各壹；“容”，朱文，壹枚；“容大”，白文，壹枚；“裳”，朱文，壹枚；“小雁”，朱文，壹枚；“裳讀”，朱文，壹枚；“黃裳藏本”，朱文，壹枚；“黃裳藏書”，朱文，壹枚；“黃裳鑒藏”，朱文，壹枚；“黃裳百嘉”，朱文，壹枚；“黃裳私印”，白文，壹枚；“黃裳小雁”，朱文，壹枚；“容家書庫”，白文，壹枚；“黃裳珍藏善本”，朱文，壹枚；“黃裳瀏覽所及”，朱文，壹枚；“草草亭藏書記”，朱文，壹枚；“黃裳容氏珍藏圖籍”，白文，壹枚；“來燕榭珍藏圖籍”，朱文，壹枚；“來燕榭珍藏書籍印記”，朱文，壹枚；“來燕榭珍藏記”，朱文，壹枚；“來燕榭藏舊本詩餘戲曲”，朱文，壹枚；“黃裳珍藏圖書印記”，朱文，壹枚，黃裳手書鐫刻。另外，遺珠想必亦有。且可惜既未能見原印及邊款，故未能壹壹辨別每印之作者。然細審印風，以陳巨來所刻最多，如“黃裳藏本”、“黃裳百嘉”、“黃裳小雁”、“來燕榭”、“黃裳青囊文苑”、“黃裳容氏珍藏圖籍”、“來燕榭珍藏圖籍”、“來燕榭珍藏記”，皆似之。然唯壹可以證之的是“黃裳百嘉”，有原印稿見於《陳巨來印稿》（頁20，上海書畫出版社，2009年5月）。另“來燕榭珍藏書籍印記” 、“黃裳私印”，則似海上糞翁所刻。