右玉縣，古稱善元縣。據《山西概況》記載，秦置善元縣，屬雁門郡治。西漢沿用秦制，東漢雁門郡南徙後，為定襄郡治。漢末郡縣俱廢，北魏復設置善元縣，後廢。唐以後為雲中縣址。明洪武25年置定邊衛，永樂七年（公元1409年）將邊外玉林衛並入右衛，改稱右玉林衛，屬大同府。清初名右玉衛，雍正三年（公元1725年）旋升為縣稱右玉縣，歸朔平府，府治設右玉。民國元年（公元1912年）廢府留縣，歸雁北道。建國初，屬察哈爾省，仍屬雁北區。1958年與左雲縣合並稱左雲縣，1961年復縣。1972年將縣址由舊城遷梁家油坊。
右玉縣歷史悠久，人文昌盛，是山西省的文物大縣、文化大縣，有100多件文物被省博物館收藏。在這片古老文明的土地上，出現過不少名人誌士。如北齊的高市貴，為驃騎大將軍，戰功顯赫，官至晉洲刺史。明代的孫祥、何廷魁以及麻貴、麻承訓、麻承宣、麻承宗父子均是見諸史書的將領，官職皆在總兵以上。尤其是麻貴更為出類拔萃，官至右都督，與李成梁並為名將，時人有東李西麻之稱。清代亦有文武進士5人，出任知縣、知府。解放後，被譽為中國“裝甲兵之父”的耿耀張，愛國將領王國相，著名醫學家劉治漢，著名學者、教授劉子威等都是右玉縣的佼佼者。解放以來，在黨和國家的領導下，全縣宣傳文化事業在繼承中創新，取得了長足的發展。縣委宣傳部、縣文化體育局以及文化館、博物館、圖書館等多次受到國家、省、市嘉獎；縣道情劇團多次在全省文藝調演中獲獎；由原縣文聯主席付品創作的小說《借姑娘》曾被中央電視臺改編為電視劇，先後獲得過“趙樹理文學獎”三等獎、山西省文學藝術創作銅牌獎。