1540年代には「みじめな人、かわいそうな人」という意味で使われていました。これはラテン語の miser（形容詞）「不幸な、みじめな、哀れな、苦しんでいる」から来ており、この言葉の「受け入れられる原始インド・ヨーロッパ語の系譜は見つかっていない」とされています [de Vaan]。英語での最も古い意味は現在では廃れてしまっていますが、現代の主な意味である「金を貯め込む人」（「裕福でありながら貧乏人のように振る舞う人」 - センチュリーダイレクトリー）は1560年代に記録されており、こうした人々の不幸さから来ていると考えられています。古い意味は miserable、misery などに残っています。
一般的なみじめさに加えて、ラテン語のこの言葉は「強い恋愛感情」という意味も持っていました（スラングの got it bad「深く恋に落ちている」と比較）。そのため、カトゥルスのお気に入りの言葉でもありました。ギリシャ語では「金を貯め込む人」は kyminopristes、文字通り「クミンシードを割る人」と呼ばれていました。現代ギリシャ語では hekentabelones、「60本の針を持つ人」という意味で呼ばれることもあります。ドイツ語の filz（フェルト）は、みじめな人が風刺画でよく履いているフェルトスリッパのイメージを残しています。ラトビア語の mantrausis（みじめな人）は文字通り「お金をかき集める人」という意味です。
