最早的山水畫是東晉著名畫家顧愷之的《背景山水》。顧愷之的兩幅畫以人物為主，風景只是人物的背景。雖然這種表現還處於比較幼稚的階段，但它為中國山水畫的未來發展奠定了堅實的基礎。
隋唐時期，詹子謙唯壹流傳至今的作品《遊春圖》是壹幅描繪自然風光、表現人們春遊的綠色山水畫。畫家通過對各種自然景物和人物活動的生動描繪，成功地體現了遊春的主題，為唐代綠色山水畫派的形成開辟了道路。
唐代父子直接繼承了詹的山水畫風格。李思訓繼承並發展了詹子謙的繪畫方法。他的筆法工整，畫面圖案瑰麗，氣勢磅礴，具有裝飾性。他的兒子李昭道繼承了他的繪畫風格，創作了海景和風景畫。
這樣就形成了中國山水畫中有特色的綠色山水畫派。到了唐代，形成了山水畫派的另壹個源頭，那就是水墨山水畫。王維是水墨山水畫的創始人。王瑋琦的畫是“沈重”和“深刻”的。另壹個重要特點是詩畫有機結合。王維之後的中晚唐時期，山水畫發展出現了壹場“水墨運動”，在唐代發展成壹個自由的新世界。
到了五代兩宋時期，畫家們繼承和發展了南北朝、隋唐時期山水畫家的優秀傳統，將中國山水畫推向了壹個前所未有的高峰，形成了五代時期的北派、南派山水。五代時期，郝靜和他的學生管同是北方山水畫的代表。他的代表作《關山行旅圖》代代相傳。
在南方，董源和他的弟子巨然代表了江南畫派，也被稱為“南方山水畫派”。董源的代表作有描繪瀟湘地區風光的《瀟湘圖》和描繪夏季江南風光的《夏山圖》。董源的弟子巨然成為其畫風的最佳繼承者，代表作有《秋山吐溫》。
北宋時期，出現了中原畫派和書院山水畫。中原畫派以李成、範寬為代表。李創世紀生活在山東省應丘縣，所以他經常以齊魯大地和原野的自然環境為描寫對象。範寬長期生活在鐘南山和大華山，他的畫山富，石突兀，樹蔥郁，氣勢磅礴。
北宋統壹後，江南畫家紛紛北上，受到北宋畫院的待遇，沖擊了以中原畫派為主流的北宋山水畫，南北畫派開始融合，形成了以郭為代表的庭院山水畫。
“米甸景觀”的創始人是米菲。在山水畫技法上受雲山煙雨景和煙樹的影響，用水墨點畫山水，充分發揮水墨的融合性。然後就是青山綠水。從隋代的詹子謙到唐代的李思訓父子，形成了這壹畫派。但在五代宋初，這種形式在士大夫和畫家中並不流行，被視為職業畫家的作品，在北宋壹度受到壓抑。北宋中期，壹些畫家擠過人群，重新投身於青綠山水，創作出適合宮廷欣賞的精美青綠山水畫。綠松石山水畫進入成熟期，著名代表畫家有王希蒙、趙伯駒等。
到了南宋時期，由於政局的變化和畫家生活區域由北向南的移動，出現了以“南宋四大家”為代表的南宋庭院山水畫。南宋的庭院山水畫，摒棄了北宋以來以主峰為中心的高山激流構圖和精細繁復的筆墨，創新為簡約質樸的形式。對角線構圖往往是通過比較兩條對角線的距離，使畫面的重心偏離中心，位於壹半的角上。被譽為“壹角半”的藝術境界。
五代兩宋時期，山水畫領域的文人畫，經過宋以後“元四家”的藝術追求和實踐，成為畫壇的主導。
明清山水畫除少數畫家外，大多以摹仿古代為主，突出筆墨趣味。比如明初畫壇主要提倡南宋畫院和浙派的院體風格。但之後在繪畫上還是有所突破。他們強調主觀的美感。
明代中期的沈周、文徵明、唐寅、仇英四家，在山水畫上取得了很大的成就。
沈周結合了董源、巨然、米芾、真武、王蒙等前輩大師的長處。，並創作了各種風格的山水畫。其山水畫傳世，如《廬山高圖》、《滄州趣圖卷》等。文徵明的山水畫有工筆和寫意兩種規格，有寫意、寫意和潑墨。唐寅的畫，取李成、範寬、南宋之法，也取元人之法，自成壹體。
吳門四家之後，明代山水畫界開始派系林立，其中華亭派、宿松、雲劍是較大的派系，其中華亭派的影響最大。因為這三個流派同屬壹個地區(松江)，審美理念和繪畫風格基本相同，所以人們統稱之為“松江派”。
明末派系眾多的山水畫壇在清代也很有特色。出現了所謂的“正統派”和“革新派”，他們壹直影響著整個清代畫壇的風氣。由於清朝統治者的閉關鎖國政策和文化專制，極力鞏固小農經濟，壓制商品生產。在這種背景下，繪畫領域開始出現了倒退和變異。這以“清初六大家”為代表，他們在藝術上脫離現實，執著於前人的筆墨技巧之線。師法古人已成為他們山水畫創作的壹大傾向。這種藝術見解和風格能迎合清朝的思想克制政策和當時文人的審美趣味，很受官方的支持和欣賞，被視為所謂的“正統”。
清初以王時敏為首領，其余有王鑒、王儀、王、、雲等。他們都主張臨摹古代，創作作品多以臨摹所得，使山水畫在技法上前進了壹大步。
當以六大為代表的“正統”走上復古主義的道路時，壹批具有強烈民族意識和創造精神的漢族知識分子畫家開始承接明中葉以後突破傳統的解放思潮，在藝術上敢於突破和挺身而出，強調個性解放，主張“借古創今”，通過對傳統繪畫形式的運用和改造，表達自己真實的生活感受。在繪畫史上，這些人壹般被稱為“革新派”，這壹派的代表人物是清初著名的“四大名僧”和“金陵八派”。“四大和尚”和“金陵八子”的繪畫風格對後來中國山水畫的發展產生了深遠的影響。