金色、バター、卵の黄身などの色を指し、基本的な色として知られています。中世英語では yelwe と表記されており、古英語では geolu や geolwe とされていました。この言葉の起源は、原始ゲルマン語の *gelwaz に遡り、古サクソン語や古高ドイツ語の gelo、中世オランダ語の ghele、現代オランダ語の geel、中世高ドイツ語の gel、現代ドイツ語の gelb、古ノルド語の gulr、スウェーデン語の gul（すべて「黄色」を意味する）と同系の言葉です。さらに遡ると、印欧語族の語根 *ghel- (2)「輝く」に由来し、そこから「緑」や「黄」を表す言葉が派生しました。例えば、古代ギリシャ語の khlōros（「黄緑」）、ラテン語の helvus（「黄褐色」）などがそれにあたります。
中世英語では、青灰色や灰色に近い色を指すこともあり、特にカエルやヘーゼル色の目に使われました。また、ラテン語の caeruleus（青色）や glauco（青灰色）の訳語としても使われていました。さらに、薄茶色の動物の毛や、自然な老化や病気により黄ばんだ肌や顔色の人々、エチオピア人やサラセン人（アラブ人）を指す言葉としても用いられました。
「肌の色が明るい（特に黒人に対して）」という意味での使用例は、1808年に確認されています。1787年には、インドの住人を指すトルコ語に基づいてアジア人にも適用されました。Yellow peril（黄色い危険）は、アジアの人々が西洋や世界を席巻するのではないかという恐れを表現したもので、ドイツ語の die gelbe gefahr（黄色い危険）を翻訳したものです。
「臆病な」という意味での使用例は1856年に見られ、その起源は不明ですが、17世紀にはむしろ嫉妬や妬みと結びつけられていました。Yellow-bellied（臆病者）は1924年に登場し、おそらく yellow と韻を踏んだ表現から来たものです。それ以前の yellow-belly は、1867年には混血児を指す海員の言葉として、また1842年にはテキサス州でメキシコ兵を指す言葉（彼らの制服の色に基づく）として使われていました。
Yellow dog（雑種犬）は約1770年から使われており、「軽蔑すべき人間」というスラングとしての意味は1881年に記録されています。Yellow fever（黄熱病）は1748年からアメリカ英語で使われており、黄疸が症状の一つであることから名付けられました。Yellow alert（黄信号）は1968年に登場し、yellow light（交通信号の黄信号）は1925年に使われ始めました。また、yellow pages（電話帳の業種別ページ）は1908年から知られています。
