おおよそ1200年頃には、古英語の of(ofを参照)から派生した強調形として使われていました。この頃は主に副詞的な用法で使われていましたが、「離れて」という前置詞的な意味や「さらに遠く」という形容詞的な意味は17世紀までしっかりと定着しませんでした。それが定着すると、元の of は新たな意味や弱められた意味を持つようになりました。「働いていない」という意味は1861年からです。
Off the cuff(即興で、準備なしで、1938年)は、急いでシャツの袖に書いたメモから話すというイメージから来ています。衣類に関しては、off the rack(既製品の、オーダーメイドでない、1963年)は、服屋のラックからそのまま買うという考え方に基づいています。また、off the record(公にしないこと、1933年)は秘密にするという意味から、off the wall(クレイジー、1968年)は、精神的に不安定な人が「壁に跳ね返っている」様子や、スカッシュやハンドボールなどの反射的なショットを指している可能性があります。
He shall not piss my money against the wall; he shall not have my money to spend in liquor. [Grose, "Classical Dictionary of the Vulgar Tongue," 3rd edition, 1796]
彼は私のお金を無駄に使わせない。彼には酒に使うお金は与えないだろう。[Grose, "Classical Dictionary of the Vulgar Tongue," 3rd edition, 1796]
piss money on the walls(無駄にお金を使う)は1540年代から証明されています。
He who once a good name gets,
May piss a bed, and say he sweats.
["Dictionary of Buckish Slang, University Wit and Pickpocket Eloquence," London, 1811]
一度名声を得た者は、
ベッドを濡らし、汗をかいたと言うかもしれない。
[「Dictionary of Buckish Slang, University Wit and Pickpocket Eloquence」、ロンドン、1811年]