《清史稿》雲“懿榮泛涉書史，嗜金石，翁同龢、潘祖蔭並稱其學”。凡書籍字畫、金石印章、錢幣瓦當，無不珍藏。感嘆收藏之艱，王懿榮作詩雲：“典衣還惹群書債，折券時蒙小賈羞。”
王懿榮常與同僚鑒藏家翁同龢、徐郙等切磋交流。徐郙購得宋拓虞書《廟堂碑》，王懿榮作《為徐頌閣尚書題所藏宋拓虞書〈廟堂碑〉長安本》壹詩：
蘭亭秘妙覃溪通，千兩黃金說涪翁。
城武長安合買本，從來唐拓總朦朧。（《王懿榮集》）
王懿榮建有“天壤閣”、“海上精舍”、“天繪閣”等藏書處，其制式與規模堪與寧波“天壹閣”藏書樓相媲美。藏書中不乏宋元刊本，以宋刻《漢書》為最珍貴。所藏稿本甚多，如《王漁洋詩稿》、《池北偶談》原稿等。
藏書印有十數枚：翰林供奉、國子監祭酒王懿榮印、廉生登來、慈聖禦賜多受福祉、海上精舍藏本、小蓮花室、天繪閣、湛華閣藏書印，等。
金石學家與收藏家葉昌熾曾觀其所藏，嘆其“鑒別之精，近時收藏家無以過矣”。