「破れた、または使い古された布の切れ端」という意味でのこの単語は、14世紀初頭に登場しました。おそらくスカンジナビア語源で、古ノルド語の rögg(「もじゃもじゃの房、粗い毛」)、またはそれに関連する raggw-;、古デンマーク語の rag(詳しくは rugを参照)と比較できます。また、raggedからの逆形成語である可能性もあります。さらには、古英語の未記録の同根語が古ノルド語の röggに対応しているかもしれません。いずれにせよ、原始ゲルマン語の *rawwa-、つまり印欧語根 *reue- (2)(「叩き潰す、打ち倒す、引き裂く、根こそぎにする」を意味する、詳しくは rough (adj.)を参照)から派生しています。
中英語では「硬くて粗い石の塊」という意味でも使われました(13世紀後半)。「新聞、雑誌」を侮蔑的に指す言葉としては1734年から使われ始め、1930年代には「タンポン、生理用ナプキン」を指すスラング(on the rag「生理中」の表現は1948年から)が登場しました。Rags(「ボロボロの服」)は14世紀中頃に見られ、1855年にはジョークとして「個人の衣服」を指す表現(単数形)がアメリカ英語で確認されています。Rags-to-riches(「貧乏から大金持ちへ」という物語を表現する言葉)は1896年に文献に登場しました。Rag-picker(「布切れ拾い」)は1860年から使われ、古着を売る店を指す rag-shop(「ボロ屋」)という言葉は1829年に確認されています。