All'inizio del XIV secolo, il termine indicava "un pezzo di stoffa," in particolare un pezzo rettangolare. Proveniva dal francese antico panel, che significava "pezzo di stoffa, pezzo, cuscino per sella" (l'equivalente moderno in francese è panneau). La sua origine si trova nel latino volgare *pannellus, un diminutivo di pannus, che in latino significava "pezzo di stoffa" (vedi pane).
Nel linguaggio giuridico anglo-francese, il termine assunse il significato di "pezzo di pergamena (o stoffa) su cui erano scritti i nomi delle persone convocate per una giuria." Entro la fine del XIV secolo, questo portò all'interpretazione di "giuria selezionata per un processo." Negli anni '70 del Cinquecento, il significato si ampliò ulteriormente, indicando "persone chiamate a consigliare, giudicare, discutere," e così via. Intorno al 1600, cominciò a essere usato anche per descrivere "una parte più o meno distinta della superficie di un muro, porta, ecc."
Il termine panel-house (si dice sia emerso negli anni '40 del XIX secolo, diventando popolare negli anni '70) era uno slang per indicare un luogo poco raccomandabile, tipicamente un bordello, caratterizzato da stanze con pannelli. Almeno un pannello poteva essere fatto scorrere per permettere furti ai danni dei clienti e altri imbrogli. Da qui i termini panel-thief, panel-game, e così via.
The requisites for a "panel house" in the proper sense, are,—a crafty, cunning street walker; a not less cunning and at the same time sturdy scoundrel—known in the slang of the business as a "Badger," and a room prepared specially for the purpose by having a small invisible opening, generally a noiselessly opening panel in the partition or entrance door, by which access to the place can be had from an adjoining room. These three requisites obtained, it becomes the duty of the panel-thief to find the fourth in any "greenhorn" that can be picked up on the streets and induced to come into the apartment. ["The Dark Side of New York Life and its Criminal Classes," 1873]
I requisiti per un "panel house" nel senso più autentico sono: un'astuta e scaltro camminatrice di strada; un altrettanto scaltro e robusto mascalzone—noto nel gergo del mestiere come "Badger"—e una stanza preparata appositamente per lo scopo, dotata di un'apertura invisibile, generalmente un pannello che si apre silenziosamente nella parete o nella porta d'ingresso, attraverso il quale si può accedere da una stanza adiacente. Una volta ottenuti questi tre requisiti, spetta al panel-thief trovare il quarto, cioè un "greenhorn" qualsiasi che possa essere adescato per entrare nell'appartamento. ["The Dark Side of New York Life and its Criminal Classes," 1873]