郭紹虞先生出生於清光緒十九年（1893），他的家庭雖屬書香之家，但很清寒。祖父是前清舉人。
父親郭魯卿沒有考上功名，是壹介寒士，擔任過文書、校對等工作，也當過家庭教師。郭魯卿1937年抗戰逃難時在蘇州鄉下東山去世。母朱漱芳1947年於故居去世。
郭紹虞和哥哥郭際唐自幼在粗衣淡飯中生活，深深懂得稼穡艱難，懂得學習的重要，感到壹定要發奮圖強，自力更生。郭紹虞在家中尊老愛兄，團結和睦。自己節衣縮食，贍養父母卻很豐盛。其兄郭濟唐是壹位有學養的中學教師，他們弟兄倆互通有無，手足情深。
郭紹虞在其父親的熏陶下，酷愛學習。其後由於家庭清寒，他僅在蒙養義塾讀了幾年書，在陸尹甫、陸雨庵二位老師指導下，苦讀詩書，直至明代遺民著作等。甚至在裱畫店、古玩鋪、舊書攤上，他也接觸了許多名人書畫和歷代各種文物，以及各類版本古籍，大大地開拓了眼界。因此，這些店鋪和地攤都成了他的街頭“博物館”和“圖書館”，使他流連忘返。 後來他又在壹所工業中學學習了二年。由於他自幼愛好文學，在中學讀書時，連續辦了幾期《嚶鳴雜誌》。後又因家庭經濟困難而輟學。
郭家世居蘇州，由於家境貧寒，並無房產，壹直租房居住，不僅條件差，而且經常被迫搬遷。1927年，郭紹虞在燕京大學任教授後，生活較為安定，也略有積蓄，遂在蘇州購下大新橋巷壹處建於晚清的普通民居，以奉養父母安度晚年，並請當時在家鄉任教的兄長郭際唐壹家陪伴父母同住，自己則常在假期回蘇州看望雙親。
郭紹虞在學術方面的貢獻眾所周知，而他在書法、藝術方面功底也很深。
郭紹虞的夫人張方行女士，畢業於早期的上海民立女中，曾先後在福州女子師範等學校任教。在先生逝世之後為他整理了《照隅室雜著》，由上海古籍出版社出版。