海源閣圖書室位於萬壽觀街北，光月樓南，楊宅內。這是壹座朝南的建築，單檐硬脊。它有三個房間寬，有兩層，底部是楊家祠，頂部是宋元時期的珍本書籍和手稿。在圖書館樓上中門的額頭上，有壹塊“海源閣”的匾額，是楊壹曾親筆題寫的。海源閣藏書浩瀚，是楊四代人苦心藏書的結果。楊的第四代傳人楊，編有《宋元海源閣書目》和《海源閣書目》20.83萬余卷。還有很多其他的沒有列在參考書目裏。
海源閣為單檐硬脊朝南建築，上下兩層。下半部為楊家祖祠，供楊家祖祠牌位，上半部為宋元古籍善本、抄本收藏。圖書館樓前有壹個長長的小院子，東側有兩個長走廊高平臺的讀書亭。樓下東邊是通往後院的通道，楊宅四院是明清海源閣的藏書室。海源閣藏書豐富。至清末，海源閣藏書已達3236種，208300余冊，是四代楊苦心收藏的成果。經過戰亂和反復破壞，大部分藏書丟失，只有少部分轉移到北京圖書館和山東圖書館。現已按原結構風格在原址重建，並正式向遊客開放。