Au début du 14e siècle, le mot désignait « un morceau de tissu », en particulier une pièce rectangulaire. Il provient du vieux français panel, signifiant « morceau de tissu, pièce, coussin de selle » (en français moderne, panneau). Ce terme trouve ses racines dans le latin vulgaire *pannellus, diminutif de pannus, qui signifie « morceau de tissu » (voir pane).
Dans le jargon juridique anglo-français, il a d'abord été utilisé pour désigner « un morceau de parchemin (ou de tissu) sur lequel figurent les noms des personnes convoquées pour siéger à un jury ». À la fin du 14e siècle, ce sens a évolué pour désigner « un jury sélectionné pour un procès ». Au cours des années 1570, il a pris le sens plus général de « personnes appelées à conseiller, juger, discuter », etc. Vers 1600, il a également été utilisé pour décrire « une partie plus ou moins distincte de la surface d’un mur, d’une porte, etc. ».
Le terme panel-house (qui aurait émergé dans les années 1840 et s'est popularisé dans les années 1870) était un argot désignant un endroit peu recommandable, souvent un bordel, avec des pièces dotées de panneaux. Au moins un de ces panneaux pouvait être glissé pour permettre des vols aux dépens des clients et autres arnaques. D'où les expressions panel-thief, panel-game, etc.
The requisites for a "panel house" in the proper sense, are,—a crafty, cunning street walker; a not less cunning and at the same time sturdy scoundrel—known in the slang of the business as a "Badger," and a room prepared specially for the purpose by having a small invisible opening, generally a noiselessly opening panel in the partition or entrance door, by which access to the place can be had from an adjoining room. These three requisites obtained, it becomes the duty of the panel-thief to find the fourth in any "greenhorn" that can be picked up on the streets and induced to come into the apartment. ["The Dark Side of New York Life and its Criminal Classes," 1873]
Les conditions requises pour qu'un « panel house » soit véritablement opérationnel sont les suivantes : une prostituée rusée et habile, un complice tout aussi astucieux et robuste, connu dans le jargon comme un « Badger », et une pièce spécialement aménagée, dotée d'une petite ouverture invisible, généralement un panneau s'ouvrant silencieusement dans la cloison ou la porte d'entrée, permettant d'accéder à l'endroit depuis une pièce adjacente. Une fois ces trois éléments réunis, il revient au panel-thief de dénicher le quatrième, en repérant un « greenhorn » — un novice — qu'il pourrait croiser dans la rue et inciter à entrer dans l'appartement. [« The Dark Side of New York Life and its Criminal Classes », 1873]