這個顏色像金色、黃油、蛋黃等，屬於基本顏色。在中古英語中寫作 yelwe，源自古英語的 geolu 或 geolwe，意指「黃色」。它的原始日耳曼語形式是 *gelwaz，這個詞也出現在古撒克遜語、古高地德語的 gelo、中古荷蘭語的 ghele、現代荷蘭語的 geel、中古高地德語的 gel、德語的 gelb、古諾爾斯語的 gulr 和瑞典語的 gul 中，皆意指「黃色」。這一系列詞彙都源自原始印歐語根 *ghel- (2)，意為「閃耀」，其衍生詞通常用來表示「綠色」和「黃色」，例如希臘語的 khlōros（意為「綠黃」）和拉丁語的 helvus（意為「黃褐色」）。
在中古英語中，這個詞有時也用來形容接近藍灰色或灰色的顏色，特別是用來描述青蛙或榛子眼睛的顏色，還用作拉丁語 caeruleus 或 glauco 的翻譯。此外，它也用來描述淺棕色的動物毛，或形容那些皮膚或膚色偏黃的人，無論是因為自然原因、年齡還是疾病，還包括對埃塞俄比亞人和撒拉遜人的稱呼。
「淺膚色」（特指黑人）這一含義最早出現在1808年。1787年，這個詞被用來形容亞洲人，起初是基於土耳其語中對印度居民的稱呼。Yellow peril（黃禍）這個詞組則表達了人們對亞洲人可能淹沒西方或全世界的恐懼，這是對德語 die gelbe gefahr 的翻譯。
「懦弱」這一意義在1856年被記錄下來，但其來源尚不明確；早期這個顏色更多地與嫉妒和羨慕相關聯（17世紀）。Yellow-bellied（懦弱的）這個表達出現在1924年，可能是對 yellow 的半押韻重複。早期的 yellow-belly 則是水手對混血兒的稱呼（1867年），而在德克薩斯州，這個詞用來指代墨西哥士兵（1842年，基於他們制服的顏色）。
Yellow dog（雜種狗）這個詞大約在1770年被記錄；其俚語意義「可鄙的人」則出現於1881年。Yellow fever（黃熱病）最早出現在1748年，美式英語中（黃疸是其症狀之一）。Yellow alert（黃色警報）則出現於1968年；yellow light（黃燈）作為交通信號則在1925年被使用。yellow pages（黃頁）則出現在1908年。
