嶽屏山上曾有擷翠亭，翳隱芳林。明末中書舍人張同敞題有“嶽屏秋碧”於其亭。每當雪後霽陽，鳥立亭檐，雀鬧枝頭，昔為衡陽八景之壹，有“嶽亭雪霽鳥喧嘩”之句。揣摸當時人煙稀少，百鳥常啁鳴於山林，似是可信。清末，山頂築有嶽屏書院，院後有條巨龍般的外城廊，廊下有報恩寺山麓設有江西會館。這都成為歷史。抗戰期間，衡陽成了抗戰的英雄城市，嶽屏自然也是火中鳳凰，所有古跡，付之壹炬。光復後，山頂出現壹座“衡陽抗戰紀念塔”，塔前有二座輔亭，塔的正面由蔣中正題詞。解放後，改稱“衡陽解放紀念塔”，只是名目之換，為尊重歷史，於84年仍恢復其名為“衡陽抗戰紀念塔”，並敦請已故主席程星齡題書，塔身加高，輔亭也修飾壹新，供人憑吊衡陽抗戰陣亡將士。立在山頂四顧，城池街市，壹覽無余。
嶽屏山，從前也稱花藥山，傳說東晉時有黃、葛二仙在山上煉丹。又傳為何仙姑亦駐足於此而得名。花藥山下，有南宋寶佑五年（公元1257年）始建的光孝報恩寺（即花藥寺）。寺廟莊嚴、雄偉、清幽雅靜，為當時衡陽四大佛教叢林之壹。寺西有春溪井，水清澄碧，倒現寺上鍍金雕龍，水波蕩漾，龍形時隱時現，若有若無，譽為“花藥春溪龍現爪”，亦是衡陽“八景”之壹。該寺的後殿，毀於抗日戰火，幸存前殿，也於動亂年代被毀。現古寺蕩然無存，地段劃歸戲校，就近辟有衡陽市兒童遊東場所，其上建有動物園，園中有猴山、禽洲、魚池、猛獸館，供兒童和遊人見識大自然的珍禽異獸，並設有茶館，供遊者壹飲。
嶽屏山下的原江西會館舊址，改建成為博物館，內有王夫子專館和古物商店，龍年龍展，更是令人矚目。和博物館為鄰的是花圃，四時八節，有花卉幽蘭供人觀賞。同博物館只有壹條馬路之隔的人工湖，是在大灣塘的基礎上疏鑿而成的，有壹潭名雲水池，繞池有壹條環行小路，北有湖心亭，亭和湖心島之間有仿頤和園玉帶橋相聯，人們可以在湖島上戲遊和小憩。過曲橋、繞回廊，便是類似西湖平湖秋月形的亭榭，上有吊腳茶亭，亭上有楹聯：
雲岫蒼茫堪入畫
水波蕩漾自成文
此聯深入淺出，有雅俗***賞之妙。
整個園林的設計，吸取南北特點，同回雁峰和石鼓公園各有千秋，點綴的亭、臺、橋、徑、花圃、假山，渾為壹體又錯落有致。85年新置的園中園，添置奇花草於園中，林木茂密，花卉多姿，曲橋香徑可人，樓臺亭榭生輝，湖上增設彩色遊船和電動遊艇，動中有靜，所有這些，適應不同層次的人來此遊玩，別有佳趣。
徜徉園中，遊興未盡，出南邊大門，回眸漢白玉雕石獅栩栩如生，凝目玉白石碑坊上的楹聯：
四時佳氣來衡嶽
十裏青山作畫屏
細細尋味，此對聯甚為工整，勾尾嵌進“嶽屏”二字，不僅反映嶽屏秀色，也體現作者的別具匠心。