1927年，張伯駒收藏了第壹件墨寶?康熙皇帝的禦筆橫幅《叢碧山房》，因張伯駒住處好植蕉竹花木，從此以?叢碧?為號，開啟了收藏之路。
壹、西晉陸機《平復帖》
張伯駒害怕《平復帖》被盜買，便委托閱古齋韓君轉告溥心畬，不要再使其流出國外，如果願讓，張伯駒可收，如果溥心畬急需用錢，也可以此帖抵押。1937年，葉遐庵舉辦上海文獻展覽會，委托張大千致意溥心畬，以6萬元求讓。溥心畬仍要價20萬，未成。盧溝橋事變發生時，張伯駒原想以《平復帖》作抵押借給溥心畬1萬元。第二天，傅增湘告訴張伯駒，溥心畬現下只要價4萬元，不如直接買下。於是，張伯駒年前先付了2萬元，余款分2個月付完。《平復帖》由傅增湘轉交張伯駒，並題跋於其後。那時白堅甫打算買下《平復帖》轉售日人，20萬的價格也是很容易的，但《平復帖》已到張伯駒手中。
二、隋展子虔《遊春圖》卷
隋展子虔《遊春圖》卷到了馬霽川手裏，要價800兩黃金。此卷在《宣和畫譜》中有著錄，為存世最古的畫跡。張伯駒和於思泊去找馬衡，告訴他此卷必應收歸故宮博物院，院方應先致函古玩商會不準出境，然後議價。如果院方經費不足，張伯駒願代為周轉。但馬衡沒有同意。張伯駒只得自己出面購藏，警告廠商，此卷有關歷史，不能出境，以致流出國外。後由墨寶齋馬寶山出面洽商，以黃金220兩定價。那時張伯駒屢收宋元巨跡，手頭拮據，不得不售出所居房產付款。壹個多月後，南京政府張群來京詢此卷，願意花四五百兩黃金買這幅畫，馬霽川悔之晚矣。
三、唐代杜牧《張好好詩》卷
唐代杜牧《張好好詩》卷是1950年經琉璃廠論文齋靳伯聲的弟弟在東北收到，持來北京。秦仲文告訴張伯駒這卷書法在惠孝同手中，擔心他知道了以後壹定會買。但張伯駒問惠孝同的時候，得知他並沒有留，已被靳帶去上海了。張伯駒急忙托馬寶山追尋此卷，不到壹個月就被追回，狂喜的張伯駒花了5000多將其買下。
在1960年以前，張伯駒所收藏的古代書畫作品便有117件，雖然數量並不龐大，但卻涵蓋了中國的歷代書畫史。其中唐代及以前的書畫珍品6件，宋代書畫13件，元代書畫11件，明代書畫40件，清代書畫47件。除了上述幾件，李白《上陽臺帖》、宋徽宗《雪江歸棹圖》等藏品也堪稱是中國藝術史上的煊赫巨跡。