古英語の dweorh、dweorg（ウェストサクソン語）、duerg（マーシア語）は、「非常に背の低い人間、普通の身長を大きく下回る人、たとえ体の比率が普通でも」といった意味を持ち、また「超自然的なサイズの小さな存在」という意味でも使われました。これは原始ゲルマン語の *dweraz（古フリジア語の dwerch、古ザクセン語の dwerg、古高ドイツ語の twerg、現代ドイツ語の Zwerg、古ノルド語の dvergr も同源）から来ており、おそらく印欧語族の *dhwergwhos「小さなもの」という言葉に由来しますが、ゲルマン語以外の言語には明確な同根語は見つかっていません。
また、1200年頃には「その種の普通のサイズを大きく下回る動物や植物」を指す言葉としても使われました。ゲルマン神話における「金属を巧みに扱い、岩や丘に住む、一般的に変形した小さな存在」としての dwarf の使い方は中世英語以降に薄れ、1770年頃にドイツ語から再び広まったようです。
Whilst in this and other ways the dwarfs do at times have dealings with mankind, yet on the whole they seem to shrink from man; they give the impression of a downtrodden afflicted race, which is on the point of abandoning its ancient home to new and more powerful invaders. There is stamped on their character something shy and something heathenish, which estranges them from intercourse with christians. They chafe at human faithlessness, which no doubt would primarily mean the apostacy from heathenism. In the poems of the Mid. Ages, Laurin is expressly set before us as a heathen. It goes sorely against the dwarfs to see churches built, bell-ringing ... disturbs their ancient privacy; they also hate the clearing of forests, agriculture, new fangled pounding-machinery for ore. ["Teutonic Mythology," Jakob Grimm, transl. Stallybrass, 1883]
彼ら（小人たち）はこのように人間と関わることもありますが、全体としては人間を避ける傾向があり、まるで踏みにじられた苦しむ種族が、古い故郷を新しい強力な侵略者に奪われようとしているかのように見えます。彼らの性質には、shy（内気さ）と heathenish（異教的なもの）が刻まれており、キリスト教徒との交流を遠ざけています。彼らは人間の不誠実、特に異教からの背信を強く嫌っています。中世の詩では、Laurin（ロリーネ）は明確に heathen（異教徒）として描かれています。教会が建てられるのを見ることや、bell-ringing（鐘の音）が彼らの古い静けさを乱すこと、森の伐採や農業、新しい鉱石の粉砕機を嫌がるのは、彼らにとって大きな苦痛です。
（「ゲルマン神話」、ヤーコプ・グリム著、スタリブラス訳、1883年）
古英語の単語の末尾にある喉音が現代の -f に変化するのは典型的な流れで（例：enough、draft）、14世紀初頭から見られます。中英語では dwerþ、dwerke とも表記されました。古英語の複数形 dweorgas は中英語で dwarrows となり、最終的には dwarfs に統一されました。伝説の種族を指す dwarves という表現は、J.R.R.トールキンによって広められました。形容詞としての使用は1590年代からです。
星の中で最も明るいものと最も暗いものを指す giant（巨人）と dwarf（小人）の用法は1914年に確認され、デンマークの天文学者エイナル・ヘルツシュプルング（1873-1967年）が提案したと言われています。これにより、red dwarf（1922年に確認）、white dwarf（白色矮星）、black dwarf（1966年に確認された「死んで光を失った星」）といった用語が生まれました。
