章乃器在東北時就開始搜集流散在社會上的文物，定居北京之後，公余之暇開始光顧文物市場，主要是隆福寺和琉璃廠的店鋪，還有東大地（今紅橋附近）的地攤。他並非科班出身的文物鑒賞家，既搜集到很多好東西，也上過不少當，交了學費 。 有了收藏的歷史機遇，還要有收藏的緣分，章乃器與不少鑒定專家和收藏家結下良緣 。在這些朋友中，古玩行前輩孫瀛洲老先生曾幫他“掌眼”，收藏家葉恭綽、張伯駒、趙振經（前清內務府郎中慶寬的後裔）先生等，也時有過從與切磋 。壹些古玩商淘到了好物件自然想著他，會直接聯系送上門 。
收藏文物的資金來源，壹是手頭的薪水，二是從上川公司抽回的資金。抗戰期間他在重慶創立了上川公司，成長比較迅速。光復後他到臺灣，買下了臺灣糖業公司。後來內戰局勢急轉直下，蔣介石準備臺灣作為最後的基地，他就把公司轉讓了，轉赴香港創辦了港九地產公司，在地產上經營得比較成功 。
到1954年向國家捐獻文物前，他已積存了三個房間的文物，收藏門類比較齊全，其中不乏相當數量的精品 。
1954年初春，鄭先生從故宮派來了六位專家接收文物，父親敞開所有的櫥櫃任其挑選，大概篩選了壹個月，有壹千壹百余件藏品入選。像商代毓祖丁卣、亞父乙簋、西周奪卣、春秋越王劍、清代竹雕饕餮紋鼎、邢窯白釉瓶、龍泉窯青釉五孔蓋瓶等精品，都在這次進入了故宮的珍藏。文物部門曾提出為父親開壹個捐獻文物展覽會，但他沒有同意。翌年他還捐給中國人民保衛世界和平委員會壹批文物，捐獻時連數目都未清點 。