O inglês antigo be- (não acentuado) ou bi (acentuado) significava "perto de, em, por, durante, sobre". Ele vem do proto-germânico *bi, que tinha o sentido de "ao redor, sobre". Em algumas combinações, esse prefixo funcionava apenas como um intensificador. Essa mesma raiz deu origem a palavras em outras línguas germânicas, como o antigo saxão e o antigo frísio bi ("perto de, ao lado de"), o médio holandês bie, o holandês moderno bij, o alemão bei ("perto de, em, ao lado de") e o gótico bi ("sobre"). A origem mais remota é o proto-indo-europeu *bhi, uma forma reduzida da raiz *ambhi-, que significava "ao redor".
Como advérbio, passou a ser usado por volta de 1300, com o significado de "perto, à mão".
No Dicionário Oxford de Inglês (2ª edição impressa), encontramos 38 definições distintas para by como preposição. Inicialmente, era uma partícula adverbial de lugar, um uso que ainda persiste em alguns nomes de lugares, como Whitby e Grimsby (também podemos comparar com rudesby). Em inglês antigo, havia um uso elíptico que indicava "curso secundário", em oposição a main. Exemplos desse uso incluem byway e by-blow ("filho ilegítimo", da década de 1590), além do médio inglês loteby ("uma concubina"), que vem do obsoleto lote ("espreitar, ficar escondido"). Essa mesma ideia de secundariedade está presente no segundo by da expressão by the by (década de 1610).
By the way significa literalmente "ao longo do caminho" (cerca de 1200), ou seja, "ao passar por aqui". Com o tempo, passou a ser usado de forma figurativa para introduzir uma observação tangencial, algo como "a propósito" (por volta da década de 1540). A expressão to swear by (jurar por) algo ou alguém em inglês antigo talvez significasse originalmente "na presença de". A frase by and by (início do século XIV) tinha o sentido de "um por um", com by indicando sucessão. O significado moderno de "em breve" surgiu na década de 1520.
By and large ("em linhas gerais", década de 1660) era originalmente um termo náutico, que se referia a "navegar a favor e contra o vento". Assim, significava "em uma direção e depois em outra". Essa expressão vem da frase náutica large wind, que descreve um vento que cruza a trajetória do navio de forma favorável.