中鎮霍山最早被稱作“霍泰山”，所謂“太嶽”實際即是霍泰山的流變與人文轉化。今天的古縣在清以前被叫作嶽陽縣，那是因為該縣地處霍山之陽或是太嶽之陽的緣故。我國古代經典文獻中記述有關霍泰山內容最早者目前所知應是《禹貢》。《禹貢》中講“既修太原，至於嶽陽。”這裏所謂“嶽陽”地望，無疑即是指今天霍山以南臨汾盆地壹帶地方。史學界很多人認為《禹貢》成書於西周時代，但是有人則認為霍泰山作冀州之鎮山可能會更早於西周，應在夏商時就已有霍泰山存在。所謂禹分九州，冀州是為首州。霍泰山是冀州的鎮山，《周禮》壹書中就是這樣說的，《山海經·中山經》中曾記述過霍山，《史記》中也記載了有關霍太山（此處泰、太通用）的故事。如《史記》中講到，商朝末年，周武王出兵付伐商紂王，在討伐中斬殺了壹個叫“惡來”的人，這時惡來的父親蜚廉正為商紂王鎮守北方之地。蜚廉只好在霍太山立壇為商紂王祭祀祈禱，以報答商紂王。不想他在祭祀時，於霍太山得到壹具石棺，棺上的銘文以上帝的口吻命令蜚廉不要再參與殷紂王之亂，並以此石棺賜予蜚謙。後來蜚廉死了於是也就葬在了霍太山。
遠古的時候，祭祀曾經是古人心目中最為重要的事情。19世紀末在河南安陽發現了殷墟甲骨蔔辭，近百年來這些甲骨文字研究的結果，史學家們確認起碼在3500年前人們對大山的祭祀不但十分頻繁，而且具有了某種規律。而從各種文獻記載和考古發現看，霍山甚至包括整個太嶽山脈，都是當時祭祀活動最為集中的壹個區域。公元8世紀中葉，唐肅宗時的河東才子呂湮曾為霍山之神立傳。傳曰：“霍山神者，蒼帝之中子也，生於天靈之紀，著雍赤雷若之歲。封冀，總領海內名山，璜寰以象其德。”看來，霍泰山確實曾經有過壹個“壹嶽獨尊”的榮耀時期。
霍山作為祭祀之山逐漸演變為壹座風景名勝之山，大約始自於兩晉南北朝至隋唐這壹漫長的歷史階段；特別是隋唐時期，許多後世被人們稱道的著名景觀即已漸顯聲名。北宋呂在祥符九年（公元1016年），壹位叫杜衍的寫過壹首七言絕句《霍嶽》，詩曰：“萬古神山入盛談，而今真得對睛嵐。禪門邂逅能留客，茶泛磁甌酒欲酣。”這首詩事實上是對霍山由祭祀之山到風景名勝之山演變結果的壹種總結。
霍山上的大規模人工造景以隋唐最具規模，著名的中鎮廟就是隋開皇十四年（公元594年）由隋文帝下詔敕建的，以兵種代多次重修。唐初，秦王李世民率軍霍山下大敗宋老生，所以唐貞觀元年（公元627年）時李世民又下詔在中鎮廟東南不遠建興唐寺，兩年後又敕建慈雲寺於霍山打鼓泉上。直至20世紀30年代初時，霍山保留下來的各種人文名勝和自然名勝風景景觀仍有相當規模，其中歷史人文景觀如中鎮廟、興唐寺、慈雲寺、喝石庵、紅崖寺、廣勝寺、“透亮碑”、子孫聖母廟、“興隆叢林”牌坊、康熙禦書“靈鷲華臺”匾額、霍泉分水亭、玄武廟和宣侯廟等等，廣勝寺飛虹塔與玄武廟的銅牌坊等極其有名。