倪雲林，名瓚，字元鎮。特別愛幹凈，書房裏所有零星的物件兒，都要讓兩個僮仆不停地拂掃塵土。廳堂前有棵樹，早晚都要挑水來清洗，以至於竟把樹洗死了。曾留壹個朋友在他家過夜，擔心他把房子弄臟了，半夜裏好幾次地起來偷聽，隱約地聽到朋友咳了幾聲，心裏頭便壹陣地煩惡。淩晨讓僮仆去看朋友吐下的痰痕，找不到，那僮仆怕被打，就拾了壹枚拾破敗的樹葉，上面有點像有痰痕的來塞責。倪瓚捂著鼻子閉著眼睛，讓那僮仆拿去直扔到三裏以外。當他寄住在鄒家的時候，鄒先生有個女婿叫金宣伯，這天來拜訪他。倪瓚聞知金宣伯是個讀書人，連鞋子也沒穿好就出來迎接。可當見到他說話長相都很粗魯後，竟然很是憤怒，打了他壹巴掌。金宣伯又是慚愧又是忿怒，也不見鄒先生就走了。鄒先生出來後，很是責怪他。倪瓚說："金宣伯面目可憎，言語無味，我把他罵走了！"
當初，張士誠的弟弟張士信，聽說瓚畫得好畫，就命人拿著絹，酬以重金，想求壹他的幅畫。倪瓚憤怒地說："我可不是什麽王門的畫師！"當即把絹給撕了。張士信從此恨上了他。壹天張士信和幾個文士遊太湖，聽到壹個小舟中有異香。張士信說："這兒肯定是個好地方。"急忙把船劃近，壹看，竟然是倪瓚在裏面。張士信大怒，便要殺了他。眾人都幫著勸救，可還是打了倪瓚數十下；倪瓚竟不說壹句話。後來有人問他："當時他那麽侮辱妳，妳卻為何壹語不發？"倪瓚說："壹說就成了村夫打架，就俗氣了。"
有人又說：倪瓚因身上有香氣被捕，囚禁在官府，每次獄卒送飯的時候，都要獄卒把裝飯的案子舉過眉眼。獄卒問其原因，他不說。旁邊有人說："他是怕妳的唾沫掉進飯裏頭。"獄卒大怒，要把倪瓚鎖在便池旁邊。雖然在眾人的祈求下免遭此難，可還是由於氣憤哽噎落下了個脾泄的毛病。如今人們以為是太祖朱元璋把他放在廁所裏，錯了。
又聽說倪瓚喜歡喝茶，他自己用果泡的茶，名叫"清泉白石"，若不是佳客是不給喝的。有位客人想要見他，都相求了壹個多月了，倪瓚看他心誠，就答應了。客人豐神飄灑，倪瓚很是欣賞他，命人拿"清泉白石"來給他喝。客人因為口渴，兩口就喝光了。倪瓚便把杯盞收了，壹直到後來也沒有送出。客人問他原因，他說："碰上了'清泉白石'，不細細地品，肯定不是雅士。"
倪瓚有個閣子叫清秘閣，很少有人進去過；有匹白馬，很是愛惜。恰值母親生病，請葛仙翁來診視。當時天下雨，葛仙翁要他用白馬相迎，上馬以後，在泥淖中踐踏而行，人馬都沾了泥汙。到了家門，先要求登清秘閣，倪瓚不敢拒絕。葛仙翁很用力地踩著就上去了，咳出來的痰都吐得滿閣都是，古玩書籍，都被他翻遍了。倪瓚從此便廢棄了這個閣子，終身不再上。有人說：倪瓚有仙骨，葛仙翁這麽做是想破破他的迂僻性格，希望能把他度出世外，可惜他壹直沒有領悟。