我國的圖書館歷史悠久。只是起初並不稱做“圖書館”，而是稱為“府”、“閣”、“觀”、“臺”、“殿”、“院”、“堂”、“齋”、“樓”罷了。如西周的盟府、兩漢的石渠閣、東觀和蘭臺、隋朝的觀文殿、宋朝的崇文院、明代的淡生堂、清朝的四庫全書七閣等等。“圖書館”是壹個外來語，於19世紀末從日本傳到我國。
據《在辭典中出現的“圖書館”》說，“圖書館”壹詞最初在日本的文獻中出現是1877年的事；而最早在我國文獻中出現，當推《教育世界》第62期中所刊出的壹篇《擬設簡便圖書館說》，時為1894年