林森身居高位，深居簡出，壹生不嗜煙酒，不近女色，頗多怪癖。在國民黨要員中，他是壹位“元老”，又是壹位帶有壹點神秘色彩的古怪老人。最令人費解的，還是林森鰥居獨處的生活方式。他從年輕時起就獨往獨來，及至當了國府主席以後，仍然孤身壹人。堂堂國府主席，不要說是娶壹個夫人，就是娶三個、五個的，也沒人敢怎麽樣。按理說，有個夫人在側，平日生活上便可以有個照料，公開場合也可以做做門面。林森的周圍人也曾為他張羅過，可他堅辭不允。對此許多人甚表納罕，頗覺蹊蹺，特別是國民黨要員中那些妻妾成群的人，更感到難以理解。是林森不食人間煙火？還是他不懂感情？當然都不是。在壹個偶然的機會，這其中的秘密被揭開了。這要從林森珍藏的壹具白骨骷髏說起。林森向來喜愛收藏古董。他的住所裏，到處擺設著各種古玩。閑暇之時，常常賞玩再三。在他收藏的眾多古玩中，有壹件林森極為珍視的東西：壹具白骨骷髏。林森並將它擺在居室的顯要處，十分刺目。據林森的隨從講，林森對這壹具白骨骷髏珍愛異常，視同生命。常獨自對其凝視良久，陷入深深的沈思。據說，有人偶然來到國府主席的住所，猛然間看到這個白骨骷髏，不禁毛骨悚然，駭然中諾諾而退，竟至驚悸數日。後來，又有人在國府主席的辦公桌上看到過這具白骨骷髏。於是關於國府主席的傳聞便紛紛揚揚，神秘中夾雜著恐怖。謎團越來越大，那些專事刨根究底的人，便四下打聽，打聽不出結果來。某日，壹位稍懂壹點解剖知識的人看到了這具骷髏，他壹眼便看出這是壹個女性的頭骨。消息壹經傳出，聞者莫不張口結舌。眾人百思不得其解：國府主席不近女色，何來女人骷髏頭？既不近女色，要這女人骷髏頭作什麽？但是，林森畢竟是國府主席，當時即使是再好奇的人，也不敢、也不好意思向主席當面發問。愛刨根究底的好事之徒，於是把目標對準國府主席的身邊人。
國府主席有個貼身隨從朱某，跟隨林森多年，對林森的生活隱秘了解較多。壹天，朱某被熟人請到壹座酒樓，宴席擺開後，朱某見在座各位均為摯友，頓時來了豪興，壹陣豪飲之後，朱某已有些微醉，乘著酒興，眾人便向他問起國府主席的白骨骷髏壹事。朱某始不肯說，禁不住眾友人的再三追問，他披露了這個秘密，解開了謎團。據朱某講，那具白骨骷髏，是國府主席表妹的遺骨。他帶著酒意，斷斷續續地向眾人敘述了國府主席青年時代的壹段頗為沈重的羅曼史：福建壹帶的舊時風俗，小女婿大媳婦很普遍，男子娶妻時年齡壹般都很小。林森也不例外。10 幾歲還在美國人辦的教會學校讀書時，便由家中長輩作主，迎娶比他年齡大的鄭氏為妻。婚前他與鄭氏素不相識，從未謀面，故婚後並無感情。而他對自己的表妹卻十分傾慕，壹往情深。他與表妹從小性格相投，處處以大哥哥的身份關心愛護著她。兩人雖算不上青梅竹馬，卻心心相印。表妹從小受家庭熏陶，雖然沒有進過洋學堂，卻知書識禮。她自幼溫柔幽嫻，性格內向，對林森的愛始終是默默的、深沈的，於不聲不響中蘊含著熾熱的情感。她對林森的這種柔情密意，除了林森以外，誰也沒有覺察。林森娶妻以後，表妹的這種默默的愛沒有絲毫稍減。1893年林森的發妻鄭氏突然患病，不久不治而亡。這時林森跟表妹的感情更加濃烈，難舍難分。正當他們熱戀的時候，林森表妹的父母突然決定將女兒許配給壹個華僑巨商的兒子。婚事是背著表妹悄悄進行的，等到表妹知道時，壹切都已成定局，難以改變了。表妹對這門親事竭力反對，拚死不從，然而木已成舟，她的反抗沒有什麽效果。在這緊要關頭，她不顧眾人議論和父母的阻攔，大膽地跑到林森的身邊，向他表明了堅貞不渝的愛情，她懇求林森帶她壹同私奔，遠赴重洋到國外謀生。滿含熱淚哭訴道：“哪怕過流浪生活，也決無怨言。”表妹的壹片癡情，使林森激動萬分。當得知表妹將要嫁給壹個華僑巨商的兒子時，內心十分痛苦。不能讓表妹失望，可是又無法使表妹不失望。帶著表妹壹道私奔，這並不是什麽難事，當時正好孫中山先生電邀他遠赴他鄉，這是壹個絕好的機會。可是壹想到革命剛剛開始，常年在外東奔西走，帶著壹個女人有諸多不便。再說當時的環境險惡，隨時可能有生命危險。苦思再三，終於沒有答應表妹的懇求。就在表妹婚期到來之前，懷著痛苦與深深的負疚，離開了家鄉。林森的離家出走，使他的表妹悲憤至極，她感到完全絕望了。眼見婚期壹天天逼近。在壹天淩晨，她躲開家人的註意，悄悄跑到樹林裏，吊死在壹棵樹上。林森在外得知表妹自殺的消息後，內心受到深深的刺激和強烈的譴責。從那以後，發誓終生不再接近女性。 林森在衣著飲食方面都很樸素。他經常身著黑色或藍色大衣長袍，戴灰絨呢帽或黑色禮帽。壹年四季，無論寒暑，都是壹身布衣，只有厚薄之分，沒有時常變化。在飲食方面，他也很簡單，他喜歡清淡素食，幾乎煙酒不沾。尤其是在抗戰時期，更是壹切從簡。據廚師訴苦說，每天只限買兩角錢的肉。初到重慶，還可買得斤把。後來物價高漲，只能買得兩個指頭這麽大的壹塊。妳想，叫人怎樣做菜呢？如果采購的人買回來的菜貴了，林森還要批評。
在住宿方面，林森也很簡單，他喜歡清靜、自然。據其下屬、曾居國民黨內要職的張群回憶描述：“其南京成賢街故居，十分狹窄。移駐洛陽期間，居處尤為簡陋。迨抵重慶以後，初住李子灞，後住歌樂山林園，均只普通房屋。”這與壹些國民黨內高官住公館形成了鮮明對比。
在行方面，林森更是不講究。他喜歡輕車簡從，習慣獨來獨往，除司機外，平時不喜隨帶侍從。有壹次，林森出席壹個重要的集會，他的座車路經壹個路口，因未懸通行證，前座沒有隨從，汽車又這麽老舊，警衛人員就予攔阻，不許前進。這時林公把手杖伸出車外，輕輕向警衛人員身上壹點。警衛這才警覺到車裏坐的是誰，離開敬禮放行。他還經常隨意停下車來，自己壹個人走下車與旁邊的人閑談；有時壹個人走在街頭，與市民聊天，或者在田間地頭與農民拉話，了解民情民意，那些與他說過話的人，怎麽也想不到這個長須飄飄、衣著樸素的老人家就是國家元首。
國民政府主席為國家元首，當時國民黨派系林立，蔣介石任國家主席遭到各派反對，被迫下野後就將國民政府主席改為虛職，不負實際責任，不兼其他職務，使五院獨立負責。林森對此有清醒認識，曾說“我的地位相當於神龕中的神位，受人景仰而不失其威儀，自然能保持廟堂之肅穆，家宅之安康。若神主顯靈，則反倒壹室仿徨，怪異百出。國家主席是虛君地位，其意義在於垂拱而治，不該去管的就不要去管，讓有辦法的人放手去做嘛。”林森生性淡泊儉樸，不嗜煙酒，不近女色。他具有壹個優良政治家所應擁有的品質：正直寬容，溫和穩健，不徇私情。卻無心政治，被稱為“超然派”，他的官邸十分簡陋，如同普通民居，甚至沒有衛生設備。而因為房屋少，僅有的壹個班警衛只能借住在鄰居的空屋裏。他因公外出時壹般都是輕車簡從，而私行則多是獨自壹人。
林森當了國府主席後，成了蔣介石的壹件“擺設”，世人對他不無譏諷，新聞界尤甚。對待蔣介石，處事謹慎，鴉雀無聲，才坐穩了國府主席的寶座。林森嚴格約束自己和手下，如洛陽警備司令陳繼承來拜訪，他拒絕接見說：“以後武官直接去見蔣，文官去見汪，不必到我這裏來啦。”壹個熟人找林森要個職務，林森說：用人要經過人事部門，不要找我。林森對手下的要求是：不發表意見，不參加宴會，不寫條子。壹次，他的秘書想要到壹個政府的重要宴會上開開眼界，被他呵斥：當好妳的秘書就行了，認識那些要人幹什麽？林森平易近人，南京浮橋如意裏2號是他的公館，從住處到國民政府不足壹華裏，林森壹向步行，身著長袍馬褂，布鞋布襪，持手杖，附近的居民都認得他。除了浮橋的公館外，林森在南京最著名的住處就是桂林石屋。這棟別墅建在中山陵以東，靈谷以西的高阜上，因周圍遍種桂花而得名，在這種地方蓋別墅，不是壹般人可以想象的，蔣介石當初蓋小紅山官邸，也是打報告，費了不少周折的；林主席可以例外，他不犯嫌，連蔣介石也不會去說他。
林森曾經彈劾過蔣介石，林森對蔣的態度是配合而不迎合，禮貌而不恭敬。壹次，散步的林森遇到了戒備森嚴簇擁而來的蔣介石。林森即在道旁的小廟賞玩古董，並不迎接或避讓，直到蔣介石走來致意“主席好”。西安事變後．蔣介石返回南京，眾人爭相向蔣介石致意，林森則站在壹邊。蔣介石看到後，上前說：有累主席受驚了。林森對秘書說：明明是他受了驚，怎麽反倒是我受驚了，他這是做給人看的。可見林森對蔣仍存芥蒂。抗戰後，林森遷至重慶，見到蔣介石的別墅如世外桃源，贊嘆不已。蔣介石就將別墅贈給林森，稱為“林園”。晚年林森漸漸喪失了對政治的興趣，寄情花草，古玩。他雖然喜歡古玩，卻舍不得花許多錢去買，他壹般出的價位都在三五元上下，從不出高價。國民政府還都南京後，根據他的遺願將他的上千件藏品字畫編號，放到壹家古玩店抽簽拍賣，本來這些古董字畫不值什麽錢（而且有許多贗品），但由於是林故主席遺物，蓋有“青芝老人鑒賞”朱印，這批大多是贗品的字畫身價頓升，不到三天，所有藏品即被搶購壹空，***賣得銀元近萬元。而所得之款全部捐獻給了福建閩侯（林森故鄉）中學作獎學金，資助優秀學生出國深造。