提起這座古樓，在濟寧幾乎盡人皆知，它已有近百年的歷史，是山東省文物保護單位。走進潘家大樓，古風撲面來，古色滿目裝，古香沁鼻息，使人頃刻間恍惚不知今夕何夕。整座大樓為木制結構，全部是重梁起架、磨轉對縫、米汁灌漿，對稱配套建築，民族氣息濃厚。建築的用材非常精良，時隔這麽多年，依然結實。手扶敦實的木制扶梯，拾級而上，“嘎吱嘎吱”的踩踏聲仿佛就這樣響了百年，那聲音傳入耳中，有種不經意觸摸到歷史的恍惚。
老人們說，在20世紀20年代，拔地而起的潘家大樓，在壹群小平房中，堪稱令人矚目的“小高層”。當時直系軍閥吳佩孚的中央軍第壹旅旅長潘鴻鈞，長期駐防濟寧。1921年，潘鴻鈞奉命出征湖南，與軍閥唐繼堯部隊作戰，大獲全勝的他，回來後建了這座豪華私邸，是濟寧當時規模最大的私人住宅。潘家大樓曾是壹組規模龐大的豪華建築群體，占地面積3985平方米，樓堂房舍有180余間。大樓附近為兵營和自備的小發電廠，是專為這座宅第服務的，堪稱奢華壹時。1927年，潘鴻鈞在北伐戰爭中斃命，產業也散失殆盡。由於戰亂頻繁，潘家大樓曾被各個時期的軍政要人輪番占據。現在的潘家大樓只余當時的主樓，其他建築經受不住歲月的流逝，慢慢斑駁、損毀，最終消失。像不少曾經的深宅大院壹樣，“深院鎖清秋”的潘家大樓裏，也有壹些暗香浮動的故事，至今仍是人們茶余飯後的談資，具體情節已無法考證。 放眼滿城摩登大廈的濟寧，在古槐路北首西側默然佇立著壹座古樓，青磚圍墻、灰瓦覆頂、木雕門樓，如壹位飽經滄桑的長者靜觀世事浮沈。
而今的潘家大樓幾經變遷，由“武場”搖身壹變，成為濟寧市的壹座文化古宅。1999年，潘躍勇出資創辦了中國首家民辦科教圖書館，將潘家大樓變成了帶有濃郁文化氛圍的公益性場所，經過7年的發展，2006年9月29日潘家書院正式啟動，將原來的科教圖書館發展成為壹家集名家講座、圖書閱覽、零售批發、戲曲欣賞、文學沙龍、各種筆會等項目為壹體的高檔次公益性文化活動中心。潘家書院的總經理張春霞說，每晚八點各種戲曲、曲藝、器樂演奏等藝術欣賞會準時與戲曲愛好者相約。孫毓敏、朱寶光、古文月、李崇善、劉桂欣等著名戲曲表演藝術家都曾在潘家書院的舞臺上為戲迷朋友送上精彩的演出。2006年11月20日，潘家書院京劇藝術社成立。2006年12月1日，潘家書院豫劇山東梆子藝術團成立。2007年3月10日，潘家書院戲迷俱樂部成立，各種與戲曲藝術有關的項目相繼開展。在觀看節目的同時還能欣賞精湛的茶藝，使人置身其中，寧靜致遠。2014年1月18日，隨著“馬騰盛世名家邀請展”的開幕，潘家大樓美術館正式成立。今天的潘家大樓,作為濟寧市地標性百年老宅，已經是壹所集字畫、古玩、收藏、展覽、筆繪、沙龍、論壇、高端培訓、茶藝、文化講堂為壹體的，面向高端社會階層服務的濟寧市第壹所高品質、前沿性、人文性的文化藝術機構。迄今為止，潘家大樓美術館已成功舉辦了“馬騰盛世名家邀請展”、“孔孟之鄉首屆女畫家作品邀請展”、“聖地名家書畫展”等多場高品位、專業性的書畫展覽，為濟寧市民提供了壹場有壹場別開生面的文化盛宴！