翁家有賢妻陳，還有五個孩子。在養家糊口的同時，他還不斷資助陸小曼花重金向何學習山水畫。經濟負擔很重，但他壹直很樂觀。他後來擔任江南造船廠的會計科長。阮朗壹害羞，就把祖上傳下來的字畫古董賣了。
1953年，翁吳銳的第壹任妻子去世，陸小曼成了他的第二任妻子。她的性格比較放任，翁吳銳壹直對她很好，盡自己最大的努力照顧她。在與翁同居期間，她沒有參加過翁家的這種儀式，所以她的內心相當扭曲。翁吳銳則循循善誘，耐心指導，為她消除精神困擾。
就這樣，徐誌摩死後，翁吳銳和陸小曼和睦相處了近四十年，直到他在1960年去世。
擴展數據:
陸小曼後來成為上海中國畫院的壹名畫家。她的學生王靜之曾引用篆刻家陳巨來對翁的評價:“翁與陸小曼的關系，不能簡單地歸咎為‘朋友的老婆不能欺負’。
陸小曼壹直沒有參與生產，因為翁壹直有很好的黑(煙)白(米)貨源。魯晚年後，翁仍奉而不改，是大義之事。“陳巨來與翁吳銳是幾十年的老朋友，但他們也不可避免地爭吵。人們認為這句話是在與翁鬧翻時說的，這是壹句公道話。