東方圖書館主事者十分重視館藏圖書收集、購買。不惜重金、不怕艱難，持之以恒。四處收集、尋覓、收購大量古今中外名著，古籍中善本、珍本、孤本等圖書、資料。館長王雲五歷遊歐美時，購進公元15世紀前所印的西洋古籍多卷，堪稱珍品。張元濟從民國7--25年，幾乎每天下午5點左右，接待舊書店外勤人員，回家仔細閱讀送來的書籍，精心鑒別，批示價格，予以收購、收藏。在大量藏書中，有當時荷蘭出版的《通報》、英國亞洲文會出版的《學報》、香港出版且已絕版的《中國匯報》、《哲學評論》、《愛丁堡評論》等著名期刊，多為難得珍本。德國《李比希化學雜誌》初版全套期刊，為遠東唯壹孤本，尤為著名。國內出版報紙、雜誌更為齊全，上海《時報》、《神洲日報》、《民國日報》，天津《大公報》、《益世報》，清光緒至宣統年間《京報》等著名報章、雜誌均手為館藏。至1931年，實藏普通中文書26.8萬冊，外文書8萬余冊，圖表、照片等5千余種，內有梵蒂岡羅馬教皇所藏末唐王只太後、王後、王太子及司禮監太監畈依天主教、上教皇書之影片及中國古畫10余軸，均由張元濟購入，以供編輯考訂古代制度、俗尚之用。此外，如德、英、美諸國所出版地質地圖、人體解剖圖、西洋歷史地圖、油畫及照片之原底，尤為不可勝數。更為珍貴的是古籍四部（經部、史部、子部、集部）各書及藏有22個省整套相當數量的方誌書籍，2641種，25682冊，其中元本2種，明本139種，府、廳、州、縣誌2081種，入館1752種，占84%。全館總藏量達46.3萬余冊（不含照片、圖表），蔚成巨觀，當時堪稱國內無匹。
豐富、珍貴的藏書，受到讀者青睞。1929年，閱覽人數近3萬人。是年底，底層設流通部，采購新書萬冊，吸引讀者更多。1930年，閱覽人數為3.6萬人。
我國傳統出版業歷史悠久，歷代遺留下來的典籍浩如煙海。在當時的歷史條件下，許多珍貴的古籍善本書不僅是新出版業不可多得的出版資源，而且以皕宋樓藏書外流日本為兇兆 ，帝國主義對我國古代文化遺產的覬覦之心不可小覷。有鑒於此，張元濟對古籍和善本書的收購，傾註了極大的心力，並且壹開始就得到我國著名目錄版本學家繆荃孫、傅增湘的協助。北京位居京城，故家藏書多，琉璃廠書肆更是古籍善本的淵藪，張元濟談及此時曾說道：“每至京師，必捆載而歸。賈人持書售求，茍未有者，輒留之。”私家藏書聚散無常，因而是張元濟的重點求購對象。從20世紀初年起，由著名教育家蔡元培介紹，張元濟以商務印書館的名義收購了紹興熔經鑄史齋的全部藏書，接著購買了長州蔣氏秦漢十印齋的藏書，廣東豐順丁氏持靜齋的藏書，以及清宗寶盛氏意園藏書數十種，其中有影元鈔定本《元秘史》、影宋鈔《事實類苑》、《公孫談圃》、明覆宋《宣和遺事》、嘉靖本《長安誌》等，後又親自到太倉，購入顧氏聞齋的藏書。顧氏所藏，大多為黃蕘圃、汪閬源兩家故物，其中有不少是稀世之寶。昭文張金吾所輯的《詒經堂續經解》，也是從聞齋得來的。後來陽端氏、巴陵方氏、荊州田氏、南海孔氏、海寧孫氏、江陰繆氏的藏書先後散出，張元濟輾轉搜求，頗有收獲。如宋刊本《六臣註文選》，得之陽端氏；宋黃善夫刊《史記》、南北宋刊合配的《南華真經》，得自荊州田氏；宋刊元修的《資治通鑒》，得自南海孔氏；宋慶元刊《春秋左傳正義》、撫州本《春秋公羊傳解詁》、 宋紹興刊《後漢書》，得自海寧孫氏。此後又陸續收藏了烏程蔣氏密韻樓藏書，揚州何氏藏書。在這兩批書中有不少精本。《永樂大典》十余冊，就是從密韻樓得來的。這十余冊《永樂大典》之所以可貴，是因為武英殿聚珍本《水經註》所自出的前半部，即在其中。除搜購之外，張元濟還采取其他形式向公私藏家移錄副本，或分別借照。如通過繆荃孫從江寧圖書館移錄錢塘丁氏八千卷佳槧；從傅增湘借影《冷齋夜話》、《老學庵筆記》、《避暑錄話》、《曲洧舊聞》、《白虎道德論》；從平湖葛氏傳樸堂借抄地方誌，等等，數量都很可觀。
西學東傳與西籍中譯對我國現代文化的啟蒙與現代出版業的萌生有著不可抹煞的催生作用。因此，張元濟亦極其重視對世界各國名著及報刊資料的收集與利用。據曾在商務印書館從事編輯工作的茅盾回憶，在1918年左右，商務印書館編譯所已經藏有不少英文名著，如《人人書庫》、《新時代叢書》等。這些叢書裏收集了許多西方資產階級政治、經濟、哲學、文學名著和英國以外的文史名著英譯本，從希臘、羅馬時期的著作到易蔔生、比昂遜等人的著作，都應有盡有。著名的外文報刊，如荷蘭出版的《通報》，英國亞洲文會出版的《學報》，出版長達壹百余年的德國的《李比希化學雜誌》，都藏有全套。此外還收藏了15世紀以前的西洋古籍多卷。在收藏的圖片中，有羅馬教皇梵蒂岡宮所藏明末唐王的太後、王後、王太子及其司禮監太監皈依天主教上教皇書的影片。這是張元濟在歐美考察時所收購，尤其具有重要的文獻價值。在廣泛搜集中外圖書的基礎上，為紀念商務印書館創業30周年，商務印書館所主辦的東方圖書館於1926年5月3日舉行開館儀式，1927年正式對外開放。對外開放時的藏書量，據《東方圖書館概況》記載：***計藏書33萬余冊，中外雜誌900多種， 中外報刊45種， 地圖約2 000幅， 各種照片約10 000余張。後又經多年搜求，在1932年11月28日東方圖書館毀於日軍炮火之前，東方圖書館***計有藏書51.8萬余冊，圖表照片5 000多冊。除普通書籍外，善本書中，有宋版書129種，2 514冊；元版書179種，3 124冊；明版書1 419種，15 833冊；清代精版書138種，3 037冊；抄本1 460種，7 712冊；名人批校本288種，2 126冊；稿本71種，354冊；雜誌31種，383冊(以上數據不包括1931年購進的揚州何氏藏書四萬余冊，因其部分版本尚在整理)，從而使東方圖書館成為當時中國藏書量首屈壹指的公***圖書館，涵芬樓(東方圖書館之組成部分)亦成為以收藏善本書而馳譽海內外的著名藏書樓。