Da cor do ouro, manteiga, gemas de ovo, etc., uma cor primária. Em inglês médio, yelwe, derivado do inglês antigo geolu, geolwe, que significa "amarelo". Essa palavra vem do proto-germânico *gelwaz, que também deu origem ao saxão antigo, alto alemão gelo, médio holandês ghele, holandês geel, médio alto alemão gel, alemão gelb, nórdico antigo gulr e sueco gul, todos significando "amarelo". Sua raiz proto-indo-europeia é *ghel- (2), que significa "brilhar". Com o tempo, essa raiz gerou palavras que denotam "verde" e "amarelo", como o grego khlōros ("verde-amarelado") e o latim helvus ("amarelado, baio").
No inglês médio, a palavra também era usada para descrever uma cor mais próxima do azul-acinzentado ou cinza, especialmente em referência a rãs ou olhos cor de avelã. Além disso, era utilizada como tradução do latim caeruleus ou glauco. Também se referia a pelos de animais de cor marrom-claro e a pessoas com pele ou tez amarelada, seja por natureza, idade ou doenças. Em alguns contextos, era usada para descrever etíopes e sarracenos.
O significado "pele clara" (em referência a pessoas negras) foi registrado em 1808. Em 1787, passou a ser aplicado a asiáticos, especialmente em relação a palavras turcas que designavam habitantes da Índia. O termo Yellow peril (perigo amarelo), que expressa o medo de que povos asiáticos dominem o Ocidente ou o mundo, traduz o alemão die gelbe gefahr.
A associação da cor com "covarde" foi atestada em 1856, mas sua origem é desconhecida. Antes disso, o amarelo estava mais ligado a sentimentos de ciúmes e inveja, especialmente no século XVII. O termo Yellow-bellied ("barriga amarela"), que também significa "covarde", surgiu em 1924, provavelmente como uma forma de reduplicação semi-rítmica de yellow. Anteriormente, yellow-belly era um termo usado por marinheiros para se referir a mestiços (1867) e, no Texas, designava soldados mexicanos (1842), baseado na cor de seus uniformes.
O termo Yellow dog ("cachorro amarelo"), que significa "mestiço", é atestado desde cerca de 1770. A gíria que o transforma em "pessoa desprezível" foi registrada em 1881. O termo Yellow fever (febre amarela) aparece em 1748, no inglês americano, já que a icterícia é um sintoma da doença. Yellow alert (alerta amarelo) foi documentado em 1968, e yellow light (luz amarela) como sinal de trânsito data de 1925. O termo yellow pages (páginas amarelas) surgiu em 1908.