No inglês médio, as formas smal e smale vêm do inglês antigo smæl, que significa "fino, esbelto, estreito; delicado". Essa palavra tem raízes no proto-germânico *smal-, que se referia a "animal pequeno" ou "pequeno" (da mesma origem vêm o baixo saxão, dinamarquês, sueco, médio holandês, holandês, alto alemão smal, frísio antigo smel, alemão schmal — todos significando "estreito, esbelto" — e o gótico smalista, que quer dizer "o menor", além do nórdico antigo smali, que se referia a "gado pequeno, ovelhas"). É possível que tenha surgido de uma raiz do proto-indo-europeu *(s)melo-, que significava "animal menor" (da qual também derivam o grego melon e o irlandês antigo mil, ambos significando "um animal pequeno", além do eslavo antigo malu, que quer dizer "ruim").
O sentido original de "estreito" hoje em dia é mais comum em relação a cinturas (por volta de 1300) e intestinos (final do inglês antigo).
My sister ... is as white as a lilly, and as small as a wand. [Shakespeare, "Two Gentlemen of Verona," 1591]
Minha irmã ... é tão branca quanto um lírio e tão pequena quanto uma vara. [Shakespeare, "Os Dois Cavalheiros de Verona," 1591]
A ideia de "não grande, de pouco tamanho, menor que o comum" começou a se desenvolver no inglês antigo. Em relação a crianças, passou a significar "jovem, não totalmente desenvolvida" a partir de meados do século XIII. A conotação de "pouco ou inferior em grau ou quantidade" surgiu no final do século XIII. Já o sentido de "trivial, sem importância, de pouco peso ou relevância" é datado de meados do século XIV. A expressão "pouca propriedade ou comércio" foi registrada em 1746. Por fim, a ideia de "caracterizado por mesquinharia de espírito ou mente, vil, baixo, egoísta" apareceu em 1824.
Small fry começou a ser usado na década de 1690 para se referir a peixes pequenos e, em 1885, passou a designar pessoas insignificantes. A expressão Small potatoes, que significa "não é grande coisa, algo trivial ou insignificante", foi atestada em 1924. A expressão small change, usada de forma figurativa para indicar "algo de pouco valor" (com change no sentido de "quantia em dinheiro"), surgiu em 1902. Já small talk, que significa "conversa fiada, bate-papo superficial" (1751), foi registrada pela primeira vez nas "Cartas" de Chesterfield. O termo Small-arms, que se refere a armas que podem ser manuseadas à mão (em contraste com ordnance), foi documentado a partir de 1710. Small clothes (1796) eram calças até os joelhos, especialmente aquelas do século XVIII, diferenciadas das calças longas. Small hours (meados do século XV) referia-se originalmente às horas canônicas menores, ou seja, horários de ofício religioso.
A expressão Small world, usada para comentar um encontro inesperado entre conhecidos, foi registrada em 1895. Para diferenciar o uso genérico do específico em frases como democrat with a small d, essa construção começou a ser utilizada em 1952.