Intorno al 1300, olyfaunt, derivato dal francese antico olifant (XII secolo, francese moderno éléphant), dal latino elephantus, a sua volta dal greco elephas (genitivo elephantos), che significa "elefante; avorio". Probabilmente proviene da una lingua non indoeuropea, forse tramite il fenicio (si confronti l'hamitico elu, che significa "elefante" e da cui deriva il termine in molte lingue semitiche, o forse dal sanscrito ibhah, anch'esso significante "elefante").
Dopo il 1550, la parola è stata riscritta seguendo il modello latino. È imparentata con il termine comune per l'animale nelle lingue romanze e germaniche; le parole slave (ad esempio il polacco slon' e il russo slonu) derivano da un'altra radice. Nell'inglese antico si trovava come elpend, e si può confrontare con elpendban e elpentoð, che significano "avorio". Tuttavia, una confusione tra animali esotici portò a usare olfend per indicare "cammello".
Erodoto menziona l'elefante africano, che nell'antichità e fino al VII secolo d.C. si trovava anche a nord del Sahara. Frazer, nei suoi appunti sulla "Descrizione della Grecia" di Pausania (1898), scrive che "Tolomeo Filadelfo, re d'Egitto (283-247 a.C.), fu il primo a domare l'elefante africano e a usarlo in guerra; i suoi elefanti venivano portati dalla Nubia". I Cartaginesi probabilmente presero spunto da lui, poiché "nell'esercito cartaginese che sconfisse Regolo nel 255 a.C. c'erano circa 100 elefanti. I Cartaginesi potevano procurarsi elefanti con facilità, dato che nell'antichità questi animali erano autoctoni nelle regioni del Nord Africa oggi conosciute come Tripoli e Marocco" (Plinio, Storia Naturale, VIII, 32).
Come simbolo del Partito Repubblicano nella politica statunitense, dal 1860. L'espressione see the elephant, che significa "conoscere la vita, acquisire esperienza", è un colloquialismo dell'inglese americano risalente al 1835. La elephant joke era popolare negli anni '60 e '70.
