Il termine inglese medio smal, smale deriva dall'inglese antico smæl, che significava "sottile, snodato, stretto; fine." Le sue radici affondano nel proto-germanico *smal-, che indicava "animale piccolo" o semplicemente "piccolo." Questa radice è alla base di parole simili in diverse lingue germaniche, come l'antico sassone, il danese, lo svedese, il medio olandese, l'olandese, l'antico alto tedesco smal, l'antico frisone smel, il tedesco schmal (che significa "stretto, snodato"), il gotico smalista ("il più piccolo") e l'antico norreno smali ("piccoli animali, pecore"). Potrebbe derivare da una radice indoeuropea *(s)melo-, che significava "animale più piccolo" (da cui il greco melon e l'antico irlandese mil, entrambi riferiti a "un animale piccolo," e il vecchio slavo ecclesiastico malu, che significava "cattivo").
Il significato originale di "stretto" si è ora ristretto principalmente a contesti come la vita dei pantaloni (circa 1300) e gli intestini (tardo inglese antico).
My sister ... is as white as a lilly, and as small as a wand. [Shakespeare, "Two Gentlemen of Verona," 1591]
Mia sorella ... è bianca come un giglio e piccola come un bastone. [Shakespeare, "Due Gentiluomini di Verona," 1591]
Il senso di "non grande, di piccole dimensioni, inferiore alla media" si sviluppò nell'inglese antico. Riferito ai bambini, assunse il significato di "giovane, non completamente sviluppato" a partire dalla metà del XIII secolo. Quella di "poco o inferiore in grado o quantità" si attestò verso la fine del XIII secolo. Il significato di "triviale, poco importante, di scarso peso o rilevanza" emerse nella metà del XIV secolo. L'idea di "avere poche proprietà o attività commerciali" risale al 1746. Infine, l'accezione di "caratterizzato da una mentalità o uno spirito ristretti, meschino, egoista" si registra nel 1824.
Small fry nel 1690 indicava pesci piccoli, mentre nel 1885 si riferiva a persone insignificanti. Small potatoes, usato per esprimere "una questione di poco conto, qualcosa di insignificante," è attestato dal 1924. Small change, usato in senso figurato per indicare "qualcosa di poco valore" (con change inteso come "somma di denaro"), risale al 1902. Small talk, che significa "chiacchiere leggere, conversazione superficiale" (1751), appare per la prima volta nelle "Lettere" di Chesterfield. Small-arms, riferendosi a armi portatili (in contrapposizione a ordnance), è documentato dal 1710. Small clothes (1796) indicava i calzoni alla zuava, in particolare quelli del XVIII secolo, distinti dai pantaloni. Small hours (metà del XV secolo) si riferiva originariamente alle ore canoniche minori, quelle ecclesiastiche.
Small world, usato per commentare un incontro inaspettato tra conoscenti, è attestato dal 1895. Per distinguere tra il significato generico e quello specifico in frasi come democrat with a small d, la costruzione è documentata dal 1952.