En vieil anglais, be- (non accentué) ou bi (accentué) signifiait « près de, à, durant, au sujet de ». Cela vient du proto-germanique *bi qui voulait dire « autour de, à propos de ». Dans les compositions, il était souvent utilisé de manière intensive. On le retrouve aussi en vieux saxon et vieux frison sous la forme bi (« près de, à côté de »), en moyen néerlandais bie, en néerlandais moderne bij, en allemand bei (« chez, à, près de ») et en gothique bi (« au sujet de »). Ses origines remontent au proto-indo-européen *bhi, une forme réduite de la racine *ambhi- qui signifie « autour ».
En tant qu’adverbe, il a commencé à être utilisé vers 1300 pour signifier « près de, à portée de main ».
Dans l’édition imprimée du Dictionnaire Oxford de l’anglais (OED, 2e éd.), on trouve 38 définitions distinctes de by en tant que préposition. À l’origine, il s’agissait d’une particule adverbiale de lieu, un sens qui perdure dans certains noms de lieux comme Whitby, Grimsby, etc. On peut aussi comparer avec rudesby. L’utilisation elliptique pour désigner un « parcours secondaire » existait déjà en vieil anglais, en opposition à main. On la retrouve dans des mots comme byway et by-blow (« enfant illégitime », 1590s) ou encore en moyen anglais loteby (« concubine »), dérivé de l’obsolète lote (« se cacher, rester caché »). Ce sens est également celui du second by dans l’expression by the by (1610s).
By the way signifie littéralement « en chemin » (vers 1200), d’où l’idée de « en passant ». Il a été utilisé de manière figurée pour introduire une remarque accessoire (« au fait ») dès les années 1540. Jurer by quelque chose ou quelqu’un en vieil anglais signifiait peut-être « en présence de ». L’expression by and by (début du 14e siècle) voulait à l’origine dire « un par un », avec by indiquant une succession. Le sens moderne de « bientôt » n’est attesté qu’à partir des années 1520.
By and large (« dans toute sa longueur et sa largeur », années 1660) était à l’origine un terme nautique, signifiant « naviguer au vent et à l’abri », donc « dans une direction puis une autre ». Il provient de l’expression nautique large wind, désignant un vent qui croise la trajectoire du navire dans une direction favorable.