臨安被攻破後，《五牛圖》轉讓給畫家趙孟頫。
清兵入關後，乾隆搜羅天下珍寶，《五牛圖》攜大量珍寶入宮。
100多年後，五牛圖被搶，漂流海外半個世紀。
直到20世紀50年代初，才被匯豐銀行的吳買下。
後來吳瀕臨破產，想拍賣這件寶貝。
經過多次交涉，文化部以6萬港幣買下，交給北京故宮博物院收藏。