潘祖蔭研索鐘鼎、篆、隸書法文字，往來籀分。壹次，聞聽有碑石，他欣然前往壹覽，在篆床後壁間，秉燭細觀，連垢面也顧不上，花五百金購回。潘祖蔭尤其註意吉金，他所藏鐘鼎彜器之類多達五百余件，成為當時收藏吉金的第壹家。鮑子幸曾經與潘祖蔭論好古象幣者之弊有三：矯、癡、誣，潘祖蔭為之失笑。被人稱作金石學家。當時朝廷內眾太監凡得古玩，必請潘祖蔭鑒別。孝欽皇後曾說“潘祖蔭所鑒定者固無甚大謬也。” 潘祖蔭還是壹個著名的藏書、金石收藏家。“滂喜齋”、“功順堂”是他的藏書室，他將藏書編成《滂喜齋藏書記》、《滂喜齋書目》。他的門生葉昌熾為他的藏書著有價值極高的目錄指南“藏書紀事詩”。攀古樓是他存放青銅器和石碑的儲藏處，他還留下兩部金石目錄：《漢沙南侯獲刻石》、《攀古樓彜器款識》。
潘祖蔭喜好藏印，有官印、印凡三百零四板。他的金石收藏甲於吳中，聞名南北。此外，潘祖蔭通曉經史。生平著述不多，他刊印了他的壹些遊記和詩作。著有：《滂喜齋叢書》。潘祖蔭擅長書法，與潘世恩、潘世璜壹起被稱為書法“蘇州三傑”。在目錄學和考古學上，他常與吳大贗切磋心得。另據傳，說潘祖蔭設同鄉“關場宴”，他以新得壹鼎，考其款識，乃“魯眉壽鼎”。他特撰寫“眉壽鼎圖說”，贈來赴宴的人雅正。等應試舉子考二場時，詩經題目即是“眉壽保魯”，凡是得圖說的考生恍然大悟，撇開常解，以鼎訓詁考題。等金榜揭示後壹看，考中的八人，有七名是赴宴得圖說的人。足見，潘祖蔭對金石古董的嗜好。在收藏界，人們叫他“潘神眼”。他收藏的國寶級文物大盂鼎目前存在中國歷史博物館，大克鼎目前存放在上海博物院，都是我國青銅器藏品中的至尊。
光緒十六年，順天州縣水災，潘祖蔭與府尹籌放義賑、添設二處粥廠。秋季，潘祖蔭患病，仍不忘上奏請撥銀米以備災民過冬，皇帝答應他的請求並施行。潘祖蔭病情更嚴重，不得不告假，三日之後，潘祖蔭積勞病故，年61歲，官至工部尚書。皇帝賜謚號文勤，贈太子太傅。
著有《滂喜齋藏書記》、《功順堂叢書》。輯有《海東金碌》等。