14世紀後半、「Pigmei」、つまり「伝説の小人たちの一員」という意味で、ホメロスやヘロドトスによって描かれ、エジプトやエチオピア、インドに住んでいるとされていました。この言葉はラテン語の「Pygmaei」（単数形は「Pygmaeus」）から来ており、さらに遡るとギリシャ語の「Pygmaioi」に由来しています。これは「Pygmaios」という単語の複数形で、「小人」を意味します。この語はもともと「小人のような」という形容詞的な使い方から名詞として定着しました。
語源的には「pygmēの長さ、すなわちpygmēの高さ」を意味し、ここでの「pygmē」は「キュビット」（直訳すると「拳」）を指します。これは肘から指の関節までの長さ（約18「指」、つまり約13.5インチ）を表す単位で、pyx（「握り拳で」）やラテン語のpugnus（「拳」）と関連しています。これらはすべて印欧語族の語根*peuk-（「突く」）に由来しています。ギリシャ語でこの言葉が人々を指すようになったのは、おそらく外国の言葉を民間語源的にアレンジした結果でしょう。
「小さな重要性を持つ人」という比喩的な使い方は1590年代から見られます。17世紀にはチンパンジーやオランウータンを指すと考えられ、この意味で使われることもありました。古代の人々はこの言葉を、彼らが1863年に新たに発見した赤道アフリカの人々に適用しましたが、実際にはこれらの部族は古代から知られており、伝説の元となったのは彼らだった可能性が高いです。形容詞としての使用は1590年代から見られます。関連語にはPygmean（小人のような）、Pygmaean（小人の）があり、これらも同様の語源を持っています。
