從古代文獻資料中發現，記錄最早的使用這種海盜標誌的是奇裏乞亞的海盜，他們為了嚇唬敵人而在自己的船桅上升起畫著骷髏頭和骨架的旗子——即死亡的象征符號。
其後，在19世紀，著名的海盜巴巴羅薩二世，在他的船上開始升起來畫在紅色大幅布上的裹著纏頭的白色骷髏頭的旗幟。
然後隨著時間的推移，紅色的海盜旗開始越來越頻繁地讓位於黑色的海盜旗——“快樂的羅傑”。
“快樂羅傑”這個名稱的具體出處，至今都沒有搞清。有人認為，它出現於17世紀末至18世紀初時，但是的法國海盜所使用的法國用語“Joli Ronge”。
第二中推測是，這壹名稱源自於東方海域，並表示封號“Ali Raja”(阿裏·拉賈)——即“大海之王”。英國人把這兩個詞讀成“Olly Roger”(奧裏·羅傑)。
還有壹種說法是，源自於單詞“roger”——乞討的流浪漢。在英國1725年出版的詞典裏有壹個詞組“Old Roger，’(老羅傑)——意思是魔鬼。
骷髏旗的使用者們在骷髏頭與交叉的骨架之外，也會加上自己的創意。上文提到的巴巴羅薩二世，用裹著纏頭的骷髏標明自己穆斯林的身份。1700年法國海盜伊曼紐爾·韋，在骷髏旗上還畫了壹只計時的沙漏。它同樣也有明確的意義：向被攻擊者暗示，在短暫的時間內，他們可以考慮壹下自己的處境，並作出投降的決定。他也被認為是第壹個用骷髏旗作為海盜專用標誌的人。
此外，骷髏旗還有幾種比較流行的搭配。
壹種是，在旗幟上畫壹具骷髏，它的壹只手裏握著沙漏，另壹只手裏握著壹顆還在滴血的被鏢矛擊穿的心。
另壹種是黑色骷髏頭和骨架的白色旗子，圖案下面還有壹句題詞：“為了上帝和自由”。
骷髏旗盛行的年代裏，海盜們經常升起兩面旗子——先升“快樂的羅傑”，然後升紅旗。第壹面旗子似乎是邀請對方自願投降。要是這壹邀請被拒絕，那麽海盜船的桅桿上就會飄揚起壹面腥紅的旗子，它宣告著對方將得不到寬恕。