黃山歷史悠久，遠在六七千年前，也就是公元前51世紀，中國母系社會後期，人類就已經在這片美麗富饒的山區勞動和生活了。三四千年前的商朝時期，有壹個叫山越的祖先生活在這裏。山越是百越之壹。春秋戰國時期，此地先歸吳，亡吳歸嶽，亡嶽歸楚。秦始皇統壹六國後，實行郡縣制，這就是會稽郡的疆域。南朝設新安縣，縣治遷都，從未離開過新安江上遊。徽州古稱新安，其來源以此為據。到了宋朝，五月二十四日(公元1121)，上諭改她為徽州。關於徽州名字的由來，據說是因為徽州有惠玲、惠水、大惠村，所以州以地名命名；另壹方面，又說趙宋取“徽、美、善”之意，炫耀他收復這壹地區。這兩種學說共存了八百多年，歷代都在使用郡縣的名稱。清康熙六年(公元1667年)建省時，以安慶和徽州的首字母作為省名。
黃山經歷了漫長的造山運動和地殼隆升，以及冰川和自然風化，才形成其獨特的峰林結構。黃山有許多山峰。七十二峰被稱為“三十六峰，三十六小峰”。主峰蓮花峰海拔高達1864米。與明頂、險峻的最高峰天都峰壹起居於景區中心，周圍有77座千米以上的山峰。峰巒疊翠，有機地組合成壹幅節奏分明、氣勢磅礴的立體畫卷。
黃山主要由燕山期花崗巖組成，垂直節理發育，侵蝕切割強烈，斷裂裂隙縱橫交錯，長期水蝕，形成雄偉的花崗巖洞穴和通道，使其成為到處都是30脊、22巖、7洞、2關的山脊峽谷。前山巖體節理稀疏，巖石呈球狀風化，山勢雄偉；後山巖體節理密集，多為垂直風化，山勢陡峭，形成“前山雄偉，後山秀麗”的地貌特征。
黃山第四紀冰川遺跡主要分布在千山東南部。典型的冰川地貌有:庫珠河、逍遙河為冰川運動侵蝕的“U”型河谷；眉毛峰和鯽魚背是刨蝕留下的兩個V型谷和刃脊；天都峰頂是三面冰桶刨削留下的火絨；百丈泉和人字形瀑布是由冰川谷和冰川分支匯合形成的懸谷。冰川堆積而成的冰磧石分布在逍遙溪至湯口、烏泥關、黃石蕩的河床階地中。軒轅黃帝煉丹術中據說用的“丹井”和“藥臼”，也是冰川作用形成的冰臼。
黃山，在中國歷史上文藝的鼎盛時期，曾被廣泛贊譽，被譽為“震旦紀第壹奇山”。今天，黃山以其壯麗的景色而聞名於世——生長在花崗巖石上的奇松和出現在雲海中的奇石。對於從四面八方來到這個風景區的遊客、詩人、畫家和攝影師來說，黃山有著永恒的魅力。