Verso la fine del XII secolo, il termine indicava il "perdono di Dio per le offese dei suoi creati." Derivava dall'antico francese mercit, merci (IX secolo), che significava "ricompensa, dono; gentilezza, grazia, pietà." Le radici latine risalgono a mercedem (al nominativo merces), che si traduceva in "ricompensa, salario, pagamento, compenso." Nella lingua volgare si usava anche per "favore, pietà," mentre nel latino medievale assumeva significati come "grazie" o "grazia." La sua origine si trova in merx (genitivo mercis), che indicava "merci, beni in vendita" (si veda market (sostantivo)). Nella tradizione ecclesiastica latina, a partire dal VI secolo, il termine venne associato specificamente alla ricompensa celeste riservata a chi mostrava gentilezza verso i bisognosi e coloro dai quali non ci si aspettava nulla in cambio.
Il significato di "disposizione a perdonare o mostrare compassione" è attestato già all'inizio del XIII secolo. L'idea di "atto o esercizio di tolleranza o buona volontà" si sviluppa intorno al 1300. Come interiezione, compare a partire dalla metà del XIII secolo, spesso come abbreviazione di espressioni come may God have mercy o have mercy on me.
Molti dei significati inglesi si trovano in forme simili già in francese, ma in quest'ultima lingua il termine è stato in gran parte sostituito da miséricorde, a meno che non venga usato come espressione di ringraziamento.
Il senso di "azione discrezionale" (come in at (one's) mercy) emerge a metà del XIV secolo. L'espressione Seat of mercy, che si riferisce al "rivestimento dorato dell'Arca dell'Alleanza" (1530), e quindi al "trono di Dio," è una traduzione innovativa di Tyndale del termine tedesco gnadenstuhl coniato da Lutero. Questa traduzione, però, non è del tutto precisa rispetto al latino propitiatorium, che a sua volta deriva dall'ebraico kapporeth, il quale significa letteralmente "propiziatorio."
