黃色是中國傳統文化中的五色之壹，是“帝王之色”。這反映了古代對土地神的崇拜，源於古代的陰陽五行學說。“黃色的中性色，大自然的天性，世間不易。”(班固的白虎依桐)；《通典》註曰:“黃人色美，皇城天德最盛最美，故亦尊色之事。”黃色是地球的自然色，從來都不容易。這種顏色代表了“天德”之美，即“中和”之美，所以成為尊卑之色。“唐高祖吳德初，用隋制，皇帝常穿黃袍，禁止士子服，從此禁黃服。”(宋貓王《野客系列禁黃》)；《元·張趨》:“庶人不得服黃。”可見，黃色是中國封建社會的法定色，象征著皇權、榮耀和崇高。直到現在，黃色仍然是中國古代的象征。
在漢語中，與“黃”有關的詞有“黃房子”(古代皇帝乘坐的車)；“黃榜”(天皇發布的文告)；“黃門”(為漢武帝辦事的官職)。白居易《炭人》:“兩位騎手是誰？黃色信使有壹件白色襯衫。”這裏的“黃衣”指的是唐朝宮廷中品味很高的宦官。佛教也提倡黃色，和尚和喇嘛的袈裟都是黃色。《釋名釋絲》釋義:“黃色在搖曳，還在搖曳，像陽光的顏色”，所以黃色象征光明。在現代漢語中，“黃燦燦”、“黃澄澄”、“黃花閨女”、“黃道吉日”等詞匯都體現了“黃色”在中國人心目中的崇高地位。
黃色在西方享受不到這樣的禮遇。在英語文化中，黃色往往有憂郁、病態、討厭、膽小等含義。成吉思汗的西征和義和團運動，曾經讓白種人心驚肉跳，於是把黃種人錯誤地稱為“黃禍”；“黃狗”(卑鄙的人)；"黃狗合同"(以不加入工會為條件的就業合同)；“yello w-livered”(膽小)；“黃色的樣子”(陰郁多疑的樣子)；“黃條”(膽小懦弱)；《黃背》(19世紀的通俗小說)；“黃色新聞”(醜聞報道風格，意思是不擇手段吸引讀者)...
可能有人會說“黃”在中文裏也是貶義詞，比如“黃色書刊”、“掃黃打非”。是的，但實際上“黃”在這裏的貶義用法是西方影響的結果。在傳統文化中，今天所謂的“黃”壹般稱為“桃色”，如“八卦”壹詞就是壹例。在皇權統治的封建社會，黃色既然是皇帝專用，就永遠不可能與骯臟、淫穢的含義聯系在壹起。
在西方，“黃色”也是愛情的象征。在紋章學中，黃色象征著堅定、正義、智慧和榮耀。在西方藝術中，聖彼得穿黃色。上世紀80年代在中國上映的法國電影《神秘的黃玫瑰》講述了壹個綽號“黃玫瑰”的英雄的故事。“黃皮書”不能直接翻譯成“黃色書刊”，它是法國等壹些歐洲國家的政府報告；“黃頁”是美國電話簿的壹部分，按行業和職業分類，經常印在黃色的紙上。“黃石國家公園”是美國著名的黃石國家公園。
“掃黃打非”這個詞經常見諸報端。《現代漢語詞典》中“黃色”壹詞的引申義是“腐敗的象征，尤其是色情。”其實，過去象征皇權和威嚴的“黃”的引申意義，是受到西方文化的影響，然後經過壹個階段的約定俗成才完成的。19世紀，《紐約時報》發表了名為《黃種人》的漫畫專欄，與《紐約世界》競爭。因為報紙用了黃色的粗紙，被反對者嘲諷為低俗的“醜聞單”，但這裏的“黃”並不是指“淫穢”或“色情”，而是壹種低俗的意思。