在明朝以前，它只是壹個小寺廟。有人說這是楊迪皇帝遊覽太原時的宮殿，也有人說這是武則天年輕時出家的舊址。現在山門右側的“唐宗遺址”壹詞大概就是來源於這些傳說。
據寺內木碑記載，晉代國王朱功為紀念其母馬史，於洪武十六年(1383)四月在明太祖奏請，批準建立新寺，歷時8年，於洪武二十四年(1391)竣工。可惜的是，到了清同治三年(1864)，主體建築全部被燒毀，只有慈悲大禮堂和部分附屬建築幸存。清光緒七年(1881)，山西巡撫張之洞在崇山寺遺址上建文廟。此後，崇山寺分為兩部分，文廟占據了大部分地方，也就是現在山西博物院的第壹部分，而只占原寺面積四十分之壹的大悲殿，則成為明代古白馬寺和崇山寺的代表。