早在周朝，中國就有了圖書館的雛形，稱為“聯宅”，主要保存與王室有關的資料，如盟約、書籍、檔案等。老子是中國歷史上第壹個圖書館員。據《史記》記載，老子“姓李，名長字，亦為周守倉史”。這個“儲藏室”就是藏書的地方。
秦朝是“石室”，《史記·太史公列傳》序言說，秦焚書之後，石室地圖就散了。漢代使用石室，建有“亭”庫。
石渠閣
西漢時期，皇室開始大量藏書。建國時，蕭何還在宮中設立了專門藏書的石渠閣和天祿閣，這也是後來人們常把皇家圖書館稱為“石渠”和“天祿”的原因。
漢代至宋代的國家圖書館稱為“秘閣”，收藏珍貴書籍，專人管理。唐代還建立了崇文書院，專門藏書。
孫嘉書店
唐代私人藏書隨著印刷業的發展而繁榮。隨著先進的印刷技術，官方圖書館大大增加，私人圖書館如雨後春筍般蓬勃發展。唐朝末年，梅州“孫嘉書屋”的藏書在四川首屈壹指。
西關
唐太宗貞觀裏有個崇文閣，是太子書院，有學士等官員掌管東宮書籍，教導學生。北宋建立後，沿襲唐朝舊制，汴京(今開封市)的趙文館、史館、集賢書院為三館，合稱西館。
南宋
據《廣信府誌》記載，“邵熙、慶元(宋光宗、寧宗年號，1190-1200)，知府戈文趙步羽(陳進)在江西硯山縣建書樓，供民眾閱覽。據說彜族過去沒有書。秀才因欲得病，但存書數萬冊，分經、史、書、集四部，使壹人執鑰。參觀者被引導到建築裏，建築裏有幾個度數，讓妳可以盡收眼底。”此外，賈詞中還記載，有個叫的人，在福州建了壹座“巢經樓”，樓旁有壹個“上有齋”，用來收藏大量書籍。需要借書的人可以在齋裏自己拿起書來看，但是不允許帶出去。
天壹戈文葛源
明代範欽的天壹閣也是舉世聞名的“圖書館”。
史靜圖書館成立於清末，1928更名為“國立北平圖書館”。
江南圖書館
無論是私人收藏還是皇家收藏，真正使用“圖書館”二字，都是從“江南圖書館”開始的。建於清光緒三十三年(1907)的江南圖書館，不僅首次使用了“圖書館”二字，還首次將其圖書推向大眾。因此，“江南圖書館”開啟了中國“圖書館”的新篇章，是真正的公共圖書館。