甲秀樓建於明萬歷二十六年(1598)，距今已有400多年的歷史。明朝萬歷年間(1573-1620)，巡撫蔣東之在此築堤連接南岸，並建壹首樓以陶冶風水，稱為“甲秀”、“柯家亭秀”。有壹座漂浮的玉橋連接著兩岸。
天啟元年(1621)，被燒毀，總督朱重修，改名“來鳳閣”。清代曾多次重建。清康熙二十八年(1689)，重修總督田文，恢復原名。現存建築重建於宣彤元年(1909)。上下三層，白石為柱，層層收攏，從橋面到屋頂高度約20米。南明河在樓前流過，匯入漢碧潭。建築側面由石拱橋“扶余橋”相連，橋上有壹個小亭子叫“涵碧閣”。甲秀樓朱亮碧瓦，依山傍水，名副其實，堪稱甲秀。清代貴陽八景之壹，“鰲帆浮玉”是位於貴陽南明河鰲帆石上的甲秀樓，由貴州巡撫江東所建。建館前，王陽明第二弟子馬廷錫曾在此建雲起閣講學傳道。該建築始建於明朝萬歷二十五年(1597)。當時先建在沙上，命名為“鰲頭磯遺址”，再在臺上建壹座亭子，命名為“甲秀”，意思是柯家挺漂亮的。建築幾經毀建，1981年翻修。重建時發現亭底石墻嵌有詩詞，後又在底墻嵌有八首詩詞。甲秀樓前有兩根鐵柱。壹次是雍正四年(公元1726)。雲貴總督樂泰在古州(今榕江)鎮壓苗族，收繳武器。鑄鐵支柱炫耀他們的成就。二是嘉慶二年(公元1797年)，雲貴總督樂寶鎮壓興義布依族王囊仙起義，收繳武器鑄造，兩柱均有銘文。省博物館裏有兩根鐵柱。
明清以來，甲秀樓壹直是文人騷客的聚集地，專家學者寫的詩也不少。在樓內收藏的古代真跡石刻、木盤和書畫名家作品中，清代桂陽院士劉昱杉所寫的206字對聯堪稱壹絕，比號稱世界第壹聯的昆明孫胡子大觀樓多了26個字。