據史料記載，明朝洪武二年，常遇春將軍追擊元順帝，攻占元上都(今內蒙古正藍旗)，凱旋而歸。他曾駐紮於此，不幸突發疾病去世，通往塞北的缺口離北方不遠。
於是這個地方就以常遇春命名，取名常峪口(諧音)。長峪口建於明初。這是壹個重要的城堡，用於駐軍保衛長城。它的周長是4英裏，高度是3英尺6英尺。這座城市過去有36座寺廟。經過幾百年的風風雨雨和人為的破壞，只剩下馬廟和龍王廟，但也殘破不堪。南門外有廣濟的蹄印，至今仍清晰可辨。常遇春戰六合，獨騎飛馬過橋的故事，在這壹帶廣為傳頌。
解放後，在長峪口南門舊址挖出兩門黃銅炮，炮身上刻有“長峪口南防雷將軍”字樣，重220斤，已送河北省文物研究所收藏。1984年在北方長城上發現4門青銅炮和2門鐵炮，炮身上刻有“永樂十三年壹萬二千吳白鹿石”字樣，現已送往張家口博物館收藏。