在安特衛普奧運會上，奧林匹克格言“更快、更高、更強”與會旗壹同出現。這是由亨利·迪東神父提出的，他是教育家、天主教多明我會的顧拜旦的朋友。國旗底色為白色，中間是五個環環相扣的圓環，即奧林匹克五環。圓環的顏色從左到右分別是天藍色、黃色、黑色、綠色和紅色(也可以畫單色)，這是顧拜旦選擇的，因為它們可以概括成員國國旗的顏色，但後來對這五種顏色還有其他解釋。國際奧委會在1979年出版的《奧林匹克評論》(第40期)中強調，奧林匹克旗和五環旗的含義是“象征著五大洲的團結，來自世界各地的運動員以公平坦誠的競爭和友好的精神相聚在奧林匹克運動會上。
國際奧委會的會旗是1913年按照顧拜旦的想法設計制作的。1914慶祝在巴黎舉行的奧林匹克代表大會上首次提出的現代奧林匹克運動恢復20周年。1920安特衛普奧運會期間，比利時國家奧委會繡上了同樣的錦旗，並在那屆奧運會上升起。會後，比利時將其贈送給國際奧委會，成為國際奧委會的官方旗幟。歷屆奧運會的開幕式都舉行過國旗交接儀式。上屆奧運會主辦城市的代表將會旗交給國際奧委會主席，國際奧委會主席再將會旗交給本屆主辦城市的市長，然後將會旗在市政府大樓中保存四年，再送交下壹屆主辦城市。上屆奧運會奧運會主會場上空升起的旗幟都是替補。
冬奧會會旗由挪威奧斯陸1952贈送，交接儀式與夏季奧運會相同。
根據奧林匹克憲章，“奧林匹克五環”是奧林匹克的標誌，是國際奧委會的特殊標誌。未經國際奧委會許可，任何團體或個人不得利用它們進行廣告宣傳或其他商業活動。國際奧委會之所以向各國奧委會提出這壹要求，主要是為了保護奧林匹克運動的純潔性，避免奧林匹克標誌被濫用和商業化。1986年8月，中國奧委會就此發出通知，其中提到國際奧委會要求各國奧委會采取必要措施保護奧林匹克標誌，並解釋說，奧林匹克標誌不僅包括“奧林匹克五環”，還包括奧林匹克會徽、吉祥物圖案和各國奧委會會徽。