康熙三十五年(1696)，清軍西征噶爾丹時，為抵禦外敵入侵，土默特右旗都督阿提達派蘇木旗兵在大青山北麓的希拉穆仁河設立卡倫(驛站)。乾隆十六年(1751年)，皇帝冊封哈爾卡蒙古仁欽多格、席勒圖昭(延壽寺)轉世為第六世呼圖克圖幹，法名阿嘎旺羅布桑達瓦。
乾隆二十七年(1762)，阿嘎旺羅布桑達瓦活佛進京謁見皇帝，升任紮薩達喇嘛。從北京回到歸化城後，他成了掌握當地最高宗教權力的活佛。第六世胡圖克圖活佛從喀爾喀蒙古來到莫南時，帶了20多個牧民的侍從和奴隸，共計100多人，還帶了很多牲畜和財物。為了安置活佛帶來的這些俗人和牲畜，清政府將希拉穆仁河流域的廣大草原劃給席勒圖昭六世活佛作為居住和放牧的地方。
當時，白木仁的所謂牧場與子思部落旗、烏拉特三公旗、喀爾喀右翼旗、茂名安旗接壤，總面積約3200平方公裏。由於六世呼圖克圖活佛阿嘎旺羅布桑達瓦的特殊身份和地位，希拉穆仁地區的組織結構和治理方式與其他紮薩克旗有所不同。從此形成了政教合壹的管理體制。
民國二十九年(1940)，侵華日軍在西門地區建立偽蒙疆聯合自治政府，希拉穆仁獨立設旗，名為什勒圖旗，行政隸屬於烏姆盟。在宗教上，它仍然屬於歸化城的喜樂土寺。民國34年(1945)，希勒圖旗撤銷，劃歸土默特旗。
新中國成立之初，希勒圖旗屬綏遠省土默特旗管轄。到1954，正式劃歸烏蒙達爾汗茂名聯合旗下。