明朝成化年間，富春山居圖到了著名畫家沈周的手裏。有壹天，沈周把畫交給朋友題詞時，朋友的兒子生出邪念，偷偷賣掉了。幾年後，壹次偶然的機會，沈周在畫攤上看到了賣出去的富春山居圖。他非常興奮，當他回來籌錢時，這幅畫已經被買走了。沈周捶胸大哭，但悔之晚矣。自此，被沈周失守的富春山居圖如石沈大海，久久杳無音信。
此後，《富春山居圖》被明代書畫家董其昌收藏。晚年，董其昌把它賣給了江西宜興壹個官員的兒子，吳宏宇的祖父吳正治。當這幅畫到達吳宏宇時，在他去世前，他要求家人將富春山居圖作為烈士燒掉。就在這幅畫即將被付之壹炬的時候，的侄子吳突然拔出了被扔進火裏的畫，偷柱救了富春。畫雖然保住了，但是中間燒了幾個連珠洞，斷成了壹大壹小兩段。此後，富春山居圖這壹稀世國寶被分為兩部分，壹部分叫“無用師卷”，另壹部分叫“留山圖”。隨著時代的變遷，兩幅畫有了不同的頭像，《無用師卷》被清廷收藏，《剩山圖》則流散民間。
抗戰勝利後，國民政府將大量故宮文物運往中國臺灣省，富春山居圖也前往臺灣省。現在它被珍藏在臺北故宮博物院。
原畫《富春山居圖》的後半部分現在臺灣省，那麽畫的前半部分，也就是被後人稱為“留山圖”的部分在哪裏呢？記者了解到，《余山圖》是現代畫家吳湖帆在抗日戰爭時期獲得的。解放後，在浙江博物館工作的著名書法家沙孟海得到消息，幾次與吳湖帆交涉。吳湖帆終於同意割愛。1956年，《留山圖》被浙江博物館收藏，成為“鎮館之寶”。