從沈鈞儒的曾祖父到沈鈞儒的曾孫，上下綿延的七代人都愛石藏石，堪稱世界收藏史上罕見的藏石世家。 沈鈞儒系浙江嘉興人。他的曾祖父沈濂，曾任清政府的刑部主事；祖父沈瑋寶，曾任蘇州知府；父親沈翰，為候補知府。幾代人的***同愛好是收藏奇石：在沈家的庭院、客廳、書齋裏，到處供有奇石，如被命名為“坐看雲起時”的假山石，形似太湖石的“雞骨石”，以及“竹葉婆娑”、“仕女彈琴”、“仙人探洞”等雨花石。沈氏的“傳家寶”除上述珍貴的觀賞石外，還有“冰紋”、“青花”、“綠端”等端硯名品。 以石會友，以石交友，是沈鈞儒藏石、賞石的壹樂趣。他的藏石，品種豐富，有天上的隕石、地下的化石，僅各種礦石標本就有200多枚。他把自己的書齋命名為“與石居”，並詠詩道： “吾生尤愛石，謂是取其堅。掇拾滿吾居，安然伴石眠。至小莫能破，至剛塞天淵。深識無茍同，涉跡漸戔戔。 與沈鈞儒同為法學家的史良曾回憶說：“在重慶時，沈老的身後經常有‘尾巴’跟隨……抗戰勝利後，沈老離渝返滬，在離家的那壹天，‘尾巴’仍然照例跟隨，他們發現沈老有壹只箱子很沈重，硬要打開檢查，其實是壹箱石頭。” 抗戰期間，國民黨元老於右任曾為“與石居”題額並跋識如下：“衡山兄愛石成性，所至選石攜陶陳列室中，以為旅行紀念。為題齋額，並綴於詞：求石友，伴髯翁，取不傷廉用不窮。會見降旗來眼底，石頭城下慶成功！”同時為“與石居”題詠的還有馮玉祥、李濟深、黃炎培、茅盾、郭沫若、梁寒操等。其中，特別值得提起的是馮玉祥的題辭：“南方石，北方石，東方石，西方石，各處之石，鹹集於此。都是經過風吹日曬，雪侵雨蝕，可是個個頑強，無虧其質。今得先生與石為友，點頭相視，如舊相識；且互相祝告，為求國家之獨立自由，我們要硬到底，方能趕走日本強盜。”以石喻人，賞石勵誌，“與石居”成了東南西北愛國誌士的聚會之所。
沈鈞儒逝世後，他的藏石主要傳給了他的第三個兒子、中央美術學院教授沈叔羊。沈叔羊辭世後，藏石又傳給了其子沈寬。沈寬也是個“石癡”，他把自己的居室命名為“摯石居”；他像祖輩壹樣，誠摯愛石，誠摯做人。他的女兒沈萌、兒子沈摯也都承襲了祖上愛石、藏石的家風。