1700年，康涅狄格的居民達成了壹致協議，要在該殖民地設立壹所學院。被指派執行此決議的十位教士在布蘭福德教區的牧師宅邸召開了首次會議。“每壹位成員都帶來了壹些書，並把它們捐贈給未來的學院。他們把書放在壹張大桌子上，然後聲明，‘我捐獻這些書，用於建立這個殖民地的學院。’”盡管歷史學家們傾向於懷疑這個故事的真實性，但這段取自克拉普院長《耶魯學院編年史》（1766）壹書的軼事至少表明了人們對於圖書館在創建耶魯學院時所起決定性作用的重視。
1718年，新建的學院經過幾度搬遷，才在紐黑文的壹座三層樓房裏定居了下來。位於二樓的圖書館當時在殖民地駐倫敦代表傑裏邁亞?德魯默的努力下已獲得眾多的捐贈，使藏書總數達到了壹千冊。斯蒂爾贈送了成套的《饒舌者》和《旁觀者》雜誌。
1713年，牛頓捐了他的《光學》和《原理》的1713年第二版。埃蒂安納送了古希臘文的《文選》和另壹本古希臘文的書。天文學家哈利也送了他所編的阿波洛尼厄斯著作。還有來自旅英最著名的康涅狄格人伊萊休?耶魯的捐贈。耶魯曾任馬德拉斯的聖喬治要塞總督，他贈送的書籍中包括壹個似乎是最早來到北美的中世紀繪圖手抄本《人類拯救通鑒》。除了通常的神學著作外，圖書館的收藏還包括喬叟、斯賓塞、彌爾頓、本?瓊生、培根的《論說文集》，巴特勒的《赫狄布拉斯》，坦普爾和考利。
1733年，耶魯學院從伯克萊主教那兒獲得了900多冊書的捐贈，“堪稱是壹次性運抵北美的最佳圖書收藏”。
1763年，圖書館搬到了壹座跟學院教堂分享的古典式建築裏。同年，又從賈雷德?埃利奧特那兒獲得了首筆十英鎊購置圖書的專用基金。跟哈佛壹樣，耶魯學院在獨立戰爭期間也被英軍所占領。圖書館的藏書被匆忙地疏散，造成了巨大的損失。
直到1843年，又經歷了兩度搬遷，第壹座獨立的圖書館大樓才終於建成。這是壹個別出心裁的建築設計，盡管面積很小，但整個布局確是模仿劍橋大學國王學院的教堂，有高聳的尖頂。
1889年附加了壹座羅馬建築式樣的大廳，1905年又追加了壹座哥特式的大廳。但所有這些空間都很快被填滿了。最後該圖書館樓又被用約翰?W?斯特林遺贈款所建的斯特林紀念圖書館所取代。新圖書館大樓規模龐大，有點類似於法國南部阿爾比的哥特式大教堂，外表既像要塞，又像大教堂，雖令人矚目，但在校園裏顯得有點不太協調。它倒是符合耶魯大學慣用富麗堂皇的風景來裝點校園的傾向。
在建造斯特林圖書館的決定作出之後，耶魯大學的英國文學教授昌西?布魯斯特?廷克，召開了壹次校友會。他提請校友們註意：新建的大樓並不就是耶魯大學圖書館，真正的圖書館是指樓內的圖書，而他對後者的描述卻是令人沮喪的。“哈佛大學……總是名列前茅。耶魯大學的畢業生對於耶魯總是在競賽中名列第二耿耿於懷。但即使是第二也比第五或第六強……而我們目前的經費已經落到了第六。”人們在讀到這段文字時總是感到驚詫：四十年以後，耶魯大學圖書館作為美國第壹流圖書館的事實已毋容置疑。
但在19世紀中，人們還未意識到善本書收藏對於大學的重要價值。圖書館每天只開幾個小時，董事會很不情願撥款給圖書館購書和維修圖書館大樓的設施。到了冬天，唯壹的取暖設備就是走廊裏的壹只爐子。
當1864年的圖書館館長但尼爾?吉爾曼因抗議這種怠慢憤而辭職時，他吃驚地從伍爾西校長那兒收到了壹封熱情的祝賀信：“這個地方並不具有積極進取的人所自然追求的重要性。學校的狀況如不能得以改善的話，它目前和將來都不會給予圖書館以更多的支持。”
然而，到了廷克向校友講演的時候，耶魯大學已經擁有足以構成圖書館未來名聲基礎的三個重要圖書收藏。
1911年，歐文奧爾迪斯捐贈的美國文學作品收藏，威廉阿爾弗雷德斯佩克贈送的歌德作品收藏和亞歷山大史密斯科克倫捐給伊麗莎白時代俱樂部的書籍。斯佩克成了歌德作品收藏的的第壹任管理員，他對這位詩人的興趣最早是從八歲時開始的，當時他旁聽了壹個高年級班討論《鐵騎手葛茲?馮?伯利欣根》。科克倫在宣布向俱樂部贈書時，曾在校園內引起轟動。費爾普斯教授震驚得“差點從椅子上掉了下來”。科克倫對於當時俱樂部內的交談缺乏學術性，幾乎總是圍繞體育比賽的話題感到有點遺憾。他的俱樂部後來果然有了變化。坐落在壹棟18世紀楔形板房子裏的俱樂部墻上掛滿了伊麗莎白女王和詹姆斯壹世的畫像和文件，俱樂部的學生成員每天下午喝茶的時間都聚在壹起討論上述這兩個時期的文學，並用來自休思圖書館的四部莎士比亞對折本和二十四部莎士比亞四開本，還有花壹萬美元從誇裏奇書店購買的首版培根《論說文集》（1597）來驗證他們所引用的詩句。為了保護這些小而珍貴的物品，俱樂部的藏書室定制了壹個笨重而堅實的門，往往要壹名運動員才能打開這扇門。
廷克呼籲校友捐贈圖書的第壹個顯著成果就是來自多瑙河畔梅爾克修道院的壹部谷騰堡聖經，捐贈者是耶魯大學最慷慨的贊助人之壹，愛德華?S．哈克尼斯夫人。羅森巴赫博士替她在紐約的壹次拍賣中買下了這本書，除傭金外還付了3．1萬美元。二十壹年以後，另壹個印刷史上的紀念碑，即在北美首次印刷，並保存完好的《海灣版贊美詩》（1640）也在拍賣市場上出售。羅森巴赫又為耶魯大學以創下世界紀錄的15．1萬美元高價買下了這本書，他自己的傭金就高達9萬美元。但這壹次他的行為沒有受到原諒。原答應在這次交易中付出3萬美元的哈克尼斯夫人憤慨地撤回了她的允諾。經過艱苦的談判，使該書終於進入耶魯大學圖書館時，羅森巴赫兄弟不得不從自己腰包中掏出4．59萬美元作為捐獻。
除了捐贈者之外，對於耶魯大學圖書館的發展作出最大貢獻的就是廷克本人和詹姆斯?巴布。作為壹位受人愛戴的教師，廷克對於英國文學的熱忱影響了不止壹代的收藏家。巴布是1945－1965年間的耶魯大學圖書館館長。他倆的專業領域都是18世紀的英國研究，所以這方面藏書成為耶魯大學圖書館的強項並非出於偶然。館藏18世紀英國的報紙本來就非常強，另外還有威廉?貝克福特作品的最佳收藏，這是巴布的興趣所在。作為圖書館的資深政治家，威爾馬思?劉易斯在其康涅狄格的宅邸裏真實再現了草莓山的情景。他所藏三千封霍勒斯?沃波爾的信劄和原沃波爾圖書館中五分之二的藏書，後來都將被捐獻給耶魯大學圖書館。
劉易斯先生曾寫過壹本機智而又詼諧的書《收藏家的進展》（康斯特布爾出版社），來介紹他的收藏。但就連他自己也承認，該收藏要遜於馬拉德海堡文件收藏。20年代初，廷克在出版《青年鮑斯韋爾》壹書後，即在愛爾蘭報紙上登了壹個廣告，征求鮑斯韋爾的信劄。他收到了兩個回答，壹個匿名者寫道：“去馬拉海德堡找。”另壹位簽名潦草的人報告，“鮑斯韋爾最後壹位代理人和奧金萊克的擁有者是都柏林馬拉海德堡的杭布爾?詹姆斯?塔爾博特。他最近剛進口了壹個鮑斯韋爾的寫字臺，裏面裝滿了信箋，至今尚未編目。”廷克把這些線索轉交給了拉爾夫?艾沙姆，後者是耶魯畢業生和原英軍上校。艾沙姆充分運用了其耐心、魅力和巧妙的外交手段，不僅從塔爾博特處買下了鮑斯韋爾書桌裏的信件，而且還有後來在閣樓、舊板球箱、外屋和在蘇格蘭的費特凱恩宅邸等另外六個儲藏之處發現的文件。絕大部分這些文件最終於1949年都進了耶魯大學圖書館。它們包括鮑斯韋爾尚未出版的日記，他的《科西喀記事》和《赫布裏底群島旅行日記》這兩部書的手稿，《約翰遜傳記》的部分手稿，以及哥德斯密、伯克、查塔坶、彭斯、伏爾泰的來信。
其它的館藏只能在這兒簡單地提及：壹部《創世記》的紙莎草手抄本，據說是最早的壹部中世紀手抄本的殘本，也是最早的基督教聖經手抄本。壹個有關美國西部的收藏，包括壹個最好的德克薩斯州收藏。壹個有關戶外運動的印刷書和手稿收藏。壹個鳥類學收藏，其中的兩部奠基石分別是奧杜邦的四卷《美國鳥類》（1831－1834）和壹部維倫德地圖，有些專家認為這是美國最早的地圖。在圖書館地下室的庫房裏，壹排排舊的威士忌包裝箱裏裝著詹姆斯?奧斯本令人瞠目的英國文學手稿，其中大部分是17和18世紀的手稿。查理?狄更斯的寵物渡鴉居高臨下地俯視著理查?金貝爾上校的航空學論著收藏，還有托馬斯?潘恩和狄更斯本人的畫像。位於另壹棟大樓裏的“耶魯大學歷史醫學圖書館”只有倫敦的“威爾科姆歷史醫學圖書館”才能與之媲美。保羅?梅隆先生又宣布把他的彩色插圖書籍，十三部卡克斯頓的印刷書和布萊克作品收藏，其中包括壹部彩色插頁的孤本《耶路撒冷》，全都捐贈給耶魯大學圖書館。
圖書收藏的急劇增長需要有更多的書架空間。斯特林圖書館建成三十年之後，其藏書設施都已經飽和。拜內克家族的三兄弟這時自告奮勇地提出要捐款建壹座新樓來作為善本書圖書館。這三兄弟自然都是耶魯畢業和收藏家——弗雷德裏克?拜內克收藏有關美國西部的作品，埃德溫?拜內克收藏羅伯特?路易斯?斯蒂文森的作品，而沃爾特?拜內克收藏詹姆斯?巴裏的作品。由斯基德莫爾、奧因斯和梅利爾建築設計事務所的戈登?伯恩謝夫特所設計的拜內克圖書館於1964年4月正式開放。