文遠亭位於南北兩側，亭系仿照浙江寧波的範天義亭。外觀為兩層，腰檐暗樓，6間房寬，西端有樓梯連接上下兩層。兩個山墻的青磚鋪到屋頂，古樸典雅。黑色琉璃瓦屋頂，綠色琉璃瓦修邊，寓意黑色主水，消防帶水壓，確保庫的安全。展館前廊有回文欄桿，屋檐下倒掛的過梁，還有綠色的檐柱，清新悅目的蘇式彩畫，更具園林建築風格。亭前雕有方形水池，將金水、河水引入其中。水池上搭壹座石橋，石橋上和水池四周的圍欄上雕有水生動物，美觀精致。亭後湖石堆成山，猶如屏障。這期間種植了松柏，延續了200多年，蒼勁繁茂。在亭的東側，有壹座造型獨特的亭子，頂上有黃色琉璃瓦。亭子裏有壹座石碑。正面有乾隆皇帝題寫的《文遠亭記》，背面有文遠亭贈的皇家詩詞。
文遠亭在乾隆四十壹年(1776)建成後，皇帝每年都在這裏舉行宴會。四十七年(1728)，《四庫全書》完成時，乾隆皇帝在文遠館設宴犒賞編纂《四庫全書》的各級官員和參與者，盛況空前。
《四庫全書》連同欽定的《古今圖書集》進入西藏文遠館，按照經史子集分四部分擺放。以儒家經典為首的22部儒家經典和《四庫全書總目》考證、欽定本《古今圖書集》放在壹層，皇帝寶座設在中間，作為講學的地方。二樓有三個房間與壹樓相連，四周是地板、書架和歷史系的33本書。二樓漆黑壹片，光線極其微弱，只能藏書，不利於閱讀。三樓除了西端的樓梯間外，其他五個房間都是相通的，每個房間都被前後的立柱與書架隔開，寬敞明亮。這裏存放著22本兒童用書和28本藏書，還設置了明代的禦榻，供皇帝隨時入閣。乾隆皇帝以如此豪華的藏書為榮，曾作詩壹首:“丙申高幹歌，今幸書成架，……”。按照清宮的規定，愛好古籍、勤於學習的大臣、官員，經允許可以到館內看書，但不得損壞書籍，也不得將書籍帶出館外。
《四庫全書》編纂完成後，最初用了六年時間抄寫了四本原版。除壹個文遠館外，其余三部分分別存放在文遠館、金文館和文水館，四館又被稱為“北寺館”。後有三冊藏於文宗閣、文慧閣、溫嵐閣，稱為“南三閣”。七本書已經丟失或被圖書館收藏。文遠館現藏於臺北故宮博物院。