噶舉派的地位是在第二活佛噶瑪巴什被元朝官方確認後逐步確立的。1406年(永樂四年)，明太祖成祖封第五世活佛曲北三布為曲節(佛祖至大寶)稱號，命其以佛教統領天下。
噶瑪噶舉派的創始人是在藏傳佛教史上享有盛譽的達波羅熱著名弟子杜松欽巴。他自幼隨父母學佛，十六歲出家。後來在弘揚佛教的過程中，修建寺廟，聚集弟子。噶瑪噶舉派由於其個人的地位和影響，自成立以來發展迅速，特別是在康區，學習噶舉派教法的僧俗隊伍不斷壯大，形成了強大的宗教力量。然而，活佛的轉世並非起源於杜松欽巴，雖然據說他曾經戴著壹頂由百萬空行母用眾多信徒的頭發編織而成的黑帽子。實際上，真正的黑帽是在第二個活佛噶瑪巴什出生時獲得的，壹頂金邊的黑法冠是蒙古可汗孟格贈送的。從此，這頂黑帽子就成了這位活佛傳承的象征，代代相傳。每當舉行轉世儀式和重大佛教活動時，繼承這壹傳承的活佛都要戴上這頂黑帽，以示噶瑪巴黑帽作為活佛的尊嚴。這就是噶瑪噶舉黑帽系統名稱的由來和形成。
噶瑪巴什被認定為杜松欽巴的轉世靈童，並繼任為楚布寺的主人。元世祖的忽必烈汗曾召他為左右鄉紳，但噶瑪巴希拒絕接受命令，轉而投奔元憲宗的蒙哥，在那裏皈依佛門，給他壹頂金邊黑帽、壹枚金印和大量財產。他被元世祖的忽必烈逮捕並監禁，並被流放到其他地方，因為他參與了蒙古上層對可汗職位的鬥爭。後來，鑒於他在蒙古和西藏的巨大影響，元世祖忽必烈釋放了他，允許他回國。噶瑪巴什在今寧夏、甘肅、青海傳教，歷時八年回到西藏楚布寺。
噶瑪巴什回到西藏後，看到當地的政教權力鬥爭十分激烈，壹心想要鞏固和發展本教派的勢力，但當時年紀大了，力不從心。1283年，噶瑪巴什臨死前，將弟子武劍巴叫到身邊，口述遺言:“我死後，在遙遠的拉堆會有壹個傳承黑帽秘法的傳人。在他未來之前，妳將暫時充當佛陀的代理人。”說完，他把那頂金邊的黑帽子戴在頭上，親手戴在了吳建八的頭上，隨即就離開了人世。根據他的遺言，吳健巴於1288年在後藏公堂找到了自己的轉世靈童，取了法名讓多吉。噶瑪噶舉派黑帽活佛轉世制度由此開始。