明朝中後期，渾源利用衡山上人文景觀的破壞，廟山分離時，流行飛石之說。飛石源頭附玄武山，偽造張等傳說，冒充恒山在渾源，於是有了恒山之爭。關於祭祀地點，有人主張曲陽，有人主張渾源。曾幾何時，雄壯的北嶽失去了準確的崇拜地理位置。最後，恒山祭祀在順治年間遷至渾源。
喬宇的《恒山遊記》認為恒山在渾源，這說明明代中期很多山西文人認為恒山在渾源。在恒山之前，與渾源無關，也沒有史料證明渾源與恒山有關系。
清代渾源恒山建立後，雖然朝廷對北嶽廟沒有爭議，但並沒有得到河北文化界的認可。曲陽妥善保護了北嶽廟，多次修繕。河北省的阜平、唐縣、淶源等地對大茅山的祭祀從未停止，廟會仍在繼續。曲陽、阜平、唐縣等地方誌，正定、保定、吉福通誌等。記載大茅山和北嶽壹樣古老。可見河北文化界在清政府改拜後，壹直堅持恒山(大茅山)在阜平，寺廟在曲陽。而且記載中沒有古字，也不叫古恒山古北嶽。