故宮博物院的繪畫收藏以明清宮廷舊藏為基礎。歷代帝王對書畫珍玩的喜愛使大量藝術珍品匯入宮中，乾隆時期內廷收藏的歷代法書名畫就曾達數萬件之多，存世的晉、唐、宋、元名畫幾乎搜羅無遺，可謂盛極壹時。但隨著清王朝的衰微崩潰，加之數次戰亂兵燹，這些藏品有些被外國列強劫掠出境，有些被末代皇帝溥儀盜運散佚民間，至1925年故宮博物院成立時，初步清點的宮內藏書畫數量尚不足七千件。1936年，國民中央政府為躲避日寇劫掠，將文物南遷。1948年，又將千余件繪畫精品運往臺灣，其時北京故宮所藏書畫僅余五千余件，而元以前的繪畫作品更是散失殆盡。新中國成立後，中央政府非常重視故宮博物院的文物收藏工作，國家文物局在50年代先後數次將通過清查、整理、調撥、接收等各種方式收集的書畫作品撥交故宮博物院，其中也包括國家以重金從境外購回的珍品。許多國內外愛國收藏家也紛紛將自己嘔心瀝血的秘藏無私地捐獻出來，大大豐富了故宮的庫藏。與此同時，自1949年以來，故宮博物院通過殫精竭慮、堅持不懈的收購和征集，發現並入藏了壹大批繪畫精品，使故宮博物院的繪畫收藏體系日益完善。自20世紀90年代起，逐年興起的拍賣風亦成為故宮博物院壹個新的書畫收藏來源。在社會各界的鼎力支持下，不少當年深藏大內，又流散各地的繪畫珍品在歷經滄桑劫難後終於又回歸故宮博物院這座文化藝術遺產的寶庫，被完好地收藏起來。這些蘊含著巨大藝術價值和歷史價值的繪畫精品將會在網上奉獻給藝術愛好者。
新中國成立，徐邦達與大收藏家、鑒定家張珩壹道，被新成立的上海市政府聘為文物管理委員會顧問，後調至北京就任中央文物局文物處業務秘書。從此，徐邦達開始了以收集、鑒定古書畫文物為主的生涯。
1953年秋，徐邦達赴故宮博物院參與繪畫館的籌建。
新中國初創時的故宮博物院的文物僅是昔日紫禁城藏品的十分之壹，書畫卷冊就更微乎其微了。紫禁城的藏品，除壹部分古書畫卷冊被溥儀帶到東北，大部分散落民間；其余九成以上在解放前夕運去了臺灣。
擺在徐邦達等人面前的是如何才能使故宮博物院繪畫館藏品盡快豐富起來。為此，他辛苦奔波於各地，悉心察訪。任何壹點信息、壹點線索，他都不放過。
其中就有元代著名畫家,楷書四大家的《水村圖》，五代後唐畫家胡環的《卓歇圖》，五代傑出書法家楊凝式的《夏熱帖》，元代著名畫家王蒙的《太白山圖》卷等。
就這樣，短短數年，徐邦達不辭辛苦，悉心查訪，經發掘和搶救，繪畫館就匯集了3000多件“失散重聚”的珍品。