1540年代に、imbecilleという言葉が「弱い、ひ弱な」(特に身体に関して)という意味で使われ始めました。この言葉はフランス語のimbecile(15世紀)から来ており、さらに遡るとラテン語のimbecillus(「弱い、ひ弱な」という意味)に由来していますが、その正確な起源は不明です。
ラテン語のimbecillusは、伝統的には「支えのない」や「杖なしで」という意味だとされています。これは、in-(「ない、反対の」)とbaculum(「棒、杖」)が合成された形から来ていると考えられています(たとえば、ユーヴェナリスの詩にあるように、imbecillis: quasi sine baculo)。しかし、『セントュリーディクショナリー』はこの解釈を「ありそうもない」とし、デ・ヴァーンは「非常に無理がある」と述べています。彼はさらに「支えなしで歩ける人こそが、逆に強い人々だと思う」と付け加えています。また、音韻的な反対意見もいくつか存在します。
この言葉の意味は18世紀半ばから「精神的に弱い、または無能な人」というふうにシフトしました(frailと比較。frailは地方英語で「精神的に弱い」という意味でも使われることがありました)。名詞として「知的障害者」を指す用法は1802年から確認されています。伝統的には、精神年齢が約6歳から9歳の成人を指し(idiotより上だが、moronより下の位置づけ)、知的障害の程度を示す一つの基準とされていました。