文人畫的由來可以追溯到漢代，張衡、菜邕皆有畫名。畫品雖不傳世但是典籍皆有所記載。魏晉南北朝時期，姚最“不學為人，自娛而已”成為文人畫的中心論調。使歷代文人將其尊為繪畫的宗旨。宗炳以山水明誌“澄懷觀道，臥以遊之”。充分體現了文人自娛的心態。 唐代詩歌盛行，大詩人王維以詩入畫。使後世奉他為文人畫的鼻祖。他的繪畫作品成為後世文人畫家的範本。詩中有畫，畫中有詩。蔚然成風，代代相傳。
南北宋時期出現了許多大文人，如蘇軾、黃庭堅、米芾父子等，他們在王維的文人畫派基礎上，以書法入畫，實踐並發展了其水墨技巧。鄧春的“畫者，文之極也”等理論已將“文”與“畫”緊緊的結合在壹起，是系統的文人畫理論，對文人畫在以後的發展上啟到了深遠的影響。此時，蘇軾提出的“士人畫”概念又使文人畫向更成熟邁進了壹步。
進入到元代，文人畫進入興盛時期。元統治者重武輕文，導致更多的文人從事繪畫。最著名的文人畫家有黃公望、王蒙、倪瓚、吳鎮。即後世所說的“元四家”。他們的畫多表現“隱居”“高隱”“小隱”“漁隱”，以“出世成仙”的態度表達壹種士大夫階層的孤傲、空虛的情感。藝術上提倡“高雅”、“平淡天真”、“天真幽淡”，理論上主張“逸筆草草”、“不求形似”、“聊寫胸中逸氣”等。這壹時期詩文印信也逐步正式進入畫面。不但成為布局的組成部分。而且更直接地抒發作者的心聲。詩、書、畫、印始成壹體，詩畫相聯，詩是無形畫，畫是有形詩，詩情貫註於畫意之中相輔相成，這也標誌這文人畫形式的完善。
明代前期文人畫處在繼承發展時期 ，出現了“吳門畫派” 和“浙派”，沈周、文征明，戴進等是這壹時期的重要代表人物。直到明代中後期身為理論家、畫家的董其昌根據蘇軾的“士人畫”理論進壹步提出畫分南北宗和文人畫理論，文人畫的名字也正式被提出和使用。同時，作為南宗的文人畫地位得到確立乃至成為中國繪畫觀念的最高認識。
清代到了文人畫鼎盛的時期，湧現了諸多頂極文人畫家，最突出的是“四僧”，“四僧”中又以八大、石濤最為突出。身為明末遺民，他們在書畫中寄寓國破家亡之痛，八大筆法恣肆、放縱、簡括、凝練，造形誇張，意境冷寂。石濤努力體察自然，鄙視陳陳相因，亦步亦趨的畫家，主張“筆墨當隨時代”，“法自我立”，面向生活“搜盡奇峰打草稿”。他的主張對後世的“揚州畫派”、“ 揚州八怪”、虛谷、趙之謙、任伯年，吳昌碩等都起到了深刻的影響。
文人畫的題材多為梅、蘭、竹、菊、高山、漁隱之類，文人借描繪目之所及的自然景物寫心靈感受。他們眼中的梅、蘭、竹、菊、高山、漁隱，不再是單純的自然景物而是君子的化身。梅，沖寒鬥雪，玉骨冰肌，孤高自賞；蘭，清雅幽香，芳草自憐，潔身自好；竹，虛心勁節，直竿淩雲，高風亮節；菊淩霜而榮，孤標傲骨；山水、漁隱則不問世事，淡漠名利。借此，文人抒發他們內心當中或豪邁或抑郁的情緒。表達其自身的清高文雅，因公因私，因國因家。有陶潛的“采菊東籬下，悠然間南山”；有蘇軾作直竹曰“竹生時何嘗逐節生”；有吳鎮自號梅花道人，言梅妻鶴子而終老；有鄭思肖因亡國失土作露根蘭……雖然都是儒家思想的左右和道釋思想的慰籍，但是也不乏文質彬彬的浪漫。
文人畫重意。杜甫講“意匠慘淡經營中”匠心獨運，可回味無窮。倪贊道“畫者不過意筆草草，不求形似，聊以自娛，寫胸中逸氣耳”。文人畫重簡，無幹的皆可簡，甚至簡到 “零”， “零”既是白既是空。“計白當黑”，空、白是為了“多”，為了“夠”，為了滿足，空白能給人以無盡深遠悠長的的感受，似 “此時無聲勝有聲”。 文人畫重書，張延遠在《歷代名畫記》中說“夫骨氣形似皆本於立意而歸乎用筆，故能書者皆能畫”。趙孟頫詩雲“石如飛白木如籀，寫竹還需八法通，若也有人能會此，須知書畫本來同”。柯九思論畫竹“寫竹桿用篆法，枝用草書法，寫葉用八分法或用魯公撇筆法，木石用折釵股，屋漏痕之遺意”。文人畫重墨趣，運用墨幹濕濃淡渾厚蒼潤的微妙變化，以單純的墨彩概括絢麗的自然。
這些在繪畫作品當中表現出來的特有的強烈的主觀意識，都是文人畫的精髓。