Le moyen anglais smal, smale vient de l'ancien anglais smæl, signifiant « mince, élancé, étroit ; fin ». Ses racines plongent dans le proto-germanique *smal-, qui désignait un « petit animal » ou quelque chose de « petit » (à l’origine aussi en bas saxon, danois, suédois, moyen néerlandais, néerlandais, haut allemand ancien smal, frison ancien smel, allemand schmal pour « étroit, élancé », gothique smalista pour « le plus petit », vieux norrois smali pour « petit bétail, moutons). On pense qu’il pourrait provenir d’une racine indo-européenne *(s)melo- signifiant « animal plus petit » (à l’origine aussi du grec melon, de l’ancien irlandais mil pour « petit animal », et du vieux slavon malu pour « mauvais »).
À l’origine, le sens de « étroit » s’est principalement restreint aux tailles de taille (vers 1300) et aux intestins (fin de l’ancien anglais).
My sister ... is as white as a lilly, and as small as a wand. [Shakespeare, "Two Gentlemen of Verona," 1591]
Ma sœur ... est blanche comme un lys, et aussi petite qu’une baguette. [Shakespeare, « Les Deux Gentilshommes de Vérone », 1591]
Le sens de « pas grand, de petite taille, moins que la taille ordinaire » a émergé en vieil anglais. Pour les enfants, il a pris le sens de « jeune, pas encore pleinement développé » dès le milieu du XIIIe siècle. L’idée de « peu ou inférieur en degré ou en quantité » est attestée à la fin du XIIIe siècle. Celle de « trivial, sans importance, de peu de poids ou de valeur » apparaît au milieu du XIVe siècle. L’expression « ayant peu de biens ou de commerce » date de 1746. Enfin, l’idée de « caractérisé par une petitesse d’esprit ou de cœur, bas, égoïste » émerge en 1824.
Small fry désignait dans les années 1690 de petits poissons, et en 1885 des personnes insignifiantes. Small potatoes, signifiant « pas grand-chose, quelque chose de dérisoire ou d’insignifiant », est attesté en 1924. small change, au sens figuré de « chose de peu de valeur » (avec change dans le sens de « somme d’argent »), date de 1902. small talk, pour désigner des bavardages futiles (1751), est enregistré pour la première fois dans les « Lettres » de Chesterfield. Small-arms, indiquant des armes portables à la main (en opposition à ordnance), est documenté dès 1710. Small clothes (1796) désignait des culottes courtes, notamment celles du XVIIIe siècle, en contraste avec les pantalons. Small hours (milieu du XVe siècle) désignait à l’origine des heures ecclésiastiques, les heures canoniques mineures.
Small world, utilisé pour commenter une rencontre inattendue entre connaissances, est attesté en 1895. Pour distinguer le générique du spécifique dans des expressions comme democrat with a small d, cette construction est documentée en 1952.