A finales del siglo XII, se utilizaba para referirse a "el perdón de Dios por las ofensas cometidas por sus criaturas." Proviene del francés antiguo mercit, merci (siglo IX), que significaba "recompensa, regalo; bondad, gracia, piedad." Este a su vez se deriva del latín mercedem (en nominativo merces), que se traduce como "recompensa, salario, pago, remuneración." En el latín vulgar, su significado se ampliaba a "favor, piedad," y en el latín medieval se usaba para expresar "gracias, gracia." Su raíz se encuentra en merx (en genitivo mercis), que significa "mercancías, productos" (puedes ver más sobre esto en market (sustantivo)). En el latín de la Iglesia, a partir del siglo VI, se le dio un significado específico relacionado con la recompensa celestial que reciben aquellos que muestran bondad hacia los indefensos o quienes no pueden devolver un favor.
El significado de "disposición para perdonar o mostrar compasión" se documenta desde principios del siglo XIII. La acepción de "acto o ejercicio de paciencia o buena voluntad" aparece alrededor del año 1300. Como interjección, se atestigua desde mediados del siglo XIII, siendo una abreviatura de expresiones como may God have mercy, have mercy on me, entre otras.
Muchos de los significados en inglés se encuentran antes en francés, aunque en este idioma el término ha sido en gran parte reemplazado por miséricorde, salvo en su uso como palabra de agradecimiento.
La acepción de "acción discrecional" (como en at (one's) mercy) surge a mediados del siglo XIV. La expresión Seat of mercy, que se refiere al "cubierta dorada del Arca de la Alianza" (1530), y por extensión "el trono de Dios," es una traducción adaptada de Tyndale del término alemán gnadenstuhl de Lutero, que a su vez es una traducción imprecisa del latín propitiatorium, que proviene del hebreo kapporeth, literalmente "propiciatorio."