葉公超是位不易被別人了解透徹的人。他喜怒無常，狂狷耿介：有時他異常天真，有時又顯得異常復雜；有時治事嚴謹，有時又遊戲人間。據他生前好友的回憶，葉公超的婚姻生活並不美滿。他的夫人袁永熹長期在美國工作，任加州大學研究員近三十年。她格調高，氣質不凡，是位荊釵布裙洗盡鉛華的學者。鑒於她受的西洋教育，不願夫婿拜相封侯，更不習慣臺灣繁文縟節的生活，另由於葉公超本人長期在海外奔波，生活漂泊不定，不能赴美與妻相伴，因而倆人分居近四十年，夫人只在雙十節回臺壹天，參加完酒會就遠走高飛，雙方互不提對方。對感情豐富的葉公超來說，內心自然倍感寂寞與痛苦。壹些妙齡女郎，見到這位文采風流的世家子弟，既具文學家修養又具藝術家氣質，兼外交家風度，因而難免為其豐儀所傾倒。這樣便有葉公超的不少風流佳話。陳香梅在壹篇文章中曾說：雙橡園主人的風采，使華盛頓的上流社會，既尊敬又願意親近他。“多少雙纖手為妳磨墨、添香，多少顆心曾為妳似醉非醉。生命裏的春天，任妳陶醉。”葉公超在臺大和師大兼任教授時，當他講到“秋天落葉落地的聲音”，眉飛色舞並配以美妙的手勢，這使崇拜他的女生向“葉老師”爭取壹席紅粉知己的地位。當然，這“紅粉知己”也可作廣義解釋：如在葉公超揮毫作畫時為其研墨，或陪“葉老師”在臺北中山堂聽《玉堂春》京劇。據說葉公超的“紅粉知己”有四位，其中有壹位“紅袖添香”者在葉的葬禮上還低聲哭泣。正如臺灣黃湜所說：“葉先生不比常人，因聲名過大，溫泉試浴既不可能，新潮理發又不能有，即使有紅粉知己添香伴讀亦不為過。”又據陳曉筠說，葉公超做“外長”時居臺北羅斯福路，有壹名義上的表妹，外交界同仁呼其為“文姬”。葉後來赴美任“大使”，“文姬”未隨赴任所，正式嫁給壹卸任“大使”許先生。當時有人做打油詩半首曰“文姬重歸漢，許郎又成仙”，成為壹時佳話。尤其是美國主管遠東事務的助理國務卿勞勃森的夫人瑪麗，對“喬治葉”漂亮的英文書法愛不釋手，無端也要寫信給他，並對葉用英文愛稱而不呼其名，其親密程度可想而知。本來，能愛與被愛，生命就如花朵之怒放，才高且氣雄豪者被海內外佳人賞識並非不道德事。所不同的是，葉公超奉命返臺不許返任後，不但不被準許出臺，連教書也被禁止，昔日好友部屬多不敢探望。在客況蕭條、人情冷暖且無家室之樂的情況下，他在臺北住博愛賓館時感到異常苦悶，曾要國民黨在島外辦的《香港時報》的采訪副主任於蘅打聽認不認識以媒介色情為業的名女人何秀子，以替他找個高級妓女到臺北附近的新店市碧潭去泛舟。當於蘅在悼念葉公超的文章中披露此段未果的秘聞時，有人又打電話又寫文章罵於蘅破壞了葉公超的形象。於答辯說，葉公超“是不拘小節的人，我寫何秀子壹段，正足以襯托出葉先生的豪放、率真超乎常人。我之所以這樣寫，只在描繪出葉先生做人的誠懇、真實。唯誠與真，才能不朽”。 葉公超在1981年11月20日發表在《聯合報》上的《病中瑣憶》中說：“回想這壹生，竟覺自己是悲劇的主角。壹輩子脾氣大，吃的也是這個虧，卻改不過來，總忍不住在發脾氣。有壹天做物理治療時遇見張嶽公，他講：‘六十而耳順，就是凡事要聽話。’心中不免感慨。”
正因為他的心情欠佳，身體竟壹天天消瘦下來，眉宇間有壹股無法描述的蕭索之情，與當年陪同美軍顧問團在花蓮圍獵山豬，在射擊場與美軍展開競賽時的豪情逸興判若兩人，故梁實秋這樣形容葉公超的余年：“情況相當落寞。”落寞的葉公超是不進教堂的老基督徒。他認為信仰宗教可給人壹點悔過、安慰和寄托，另還可勉勸人們為善多做好事。除做好事外，葉公超利用自己鑒賞文物的才能賣點古玩，還出售他的墨寶、蘭竹。為了把生意做大，他希望在新加坡舉行畫展，托人請南洋著名僑領、新加坡膠業巨子李光前剪彩。李光前系左派人士，可葉公超為了賣畫糊口，也顧不上這些了。李光前鑒於自己的政治立場，托詞不擔任剪彩人，但答應由前來說項的趙世洵代他挑壹張售價最貴的竹子由其買下了事。
葉公超時而執教，時而執筆，時而從黨，時而從政，時而主持僑務，時而主持外交，時而服務國內，時而奔波海外，終於勞累過度，於1981年11月20日因心臟病復發在臺北榮民總醫院安息，享年七十八歲。他去世後，治喪委員會在《葉資政公超先生事略》纂述其生平時，只字不提他被蔣介石罷官壹事，僅輕描淡寫敘述他於1961年奉召回後出任“行政院政務委員”。由於官方對他評價不公，所以臺灣暨海外不斷有他的親友、同僚、弟子發表充滿感情的悼念文章，這些文章寫盡葉公超平生為人，包括其功勛事業、文藝修養、千秋風骨，兼及紅顏知己，由著名史料專家秦賢次編輯為《葉公超其人其文其事》，由臺北傳記文學出版社於1983年6月15日出版。這本書的許多作者，用聰識通明、坦率真誠、風流儒雅、藝文驚世、清高絕欲、狷介耿直、傲骨嶙峋、睿智心細、學貫中外等贊語來表達個人對葉氏的崇敬。1981年12月2日，臺北“中華電視臺”新聞雜誌節目以“奇才葉落”為題邀請黃少谷、錢穆、杭立武、李國鼎等人演講葉公超其人其事。他們均壹致認為：葉公超生在國家的憂患時代，又投身在世俗的官場之中，可他又難改書生意氣，這正是他成為“悲劇主角”的主要原因。這就難怪程滄波在送他的挽聯中說他“蒼涼身世又誰知”，這真是他晚年抑郁心境的最好寫照了。