Das Museum befindet sich auf 3 Etagen in den Räumen des ehemaligen Wettbergschen Adelshof.
Im Mittelalter stand der Wettbergsche Adelshof an der damaligen Stadtmauer und diente Wach- und Verteidigungszwecken. Im 15.Jahrhundert gelangte er in den Besitz der Landadelsfamilie von Wettberg, die im letzten Drittel des 16. Jahrhunderts hier ein Renaissancehaus errichtete, von dem noch das untere Geschoss und das Kellergewölbe weitgehend erhalten sind. Am Erker sieht man noch das Wappen der Erbauer. Der an der westlichen Seite integrierte Treppenturm wurde nach 1700 im oberen Drittel abgetragen und das Obergeschoss völlig umgestaltet. Torhaus, Brauhaus und Viehställe sind abgerissen worden.
In großen Kellergewölben sind Architektursteine ausgestellt, die Einblicke in das Stadtbild früherer Epochen ermöglichen.
Über "Stolperstufen" des ehemaligen Wehr- und Wendeltreppenturms gelangt man ins Erdgeschoss mit den Räumen für Sonderausstellungen.
Die unterschiedlichen Höhen der Treppenstufen führten dazu, dass die Angreifer auf ungewohntem Terrain leicht ins Stolpern gerieten und so hatten die obenstehenden Verteidiger die Chance, ihre Gegner abzuwehren. Noch heute sind die Treppen im Museum Stolperfallen.
In den 10 Räumen des Obergeschosses werden unter anderem Exponate aus der Glassammlung Schwiezer, der Salzgewinnung, eine Holzbildhauerwerkstatt, eine Biedermeierstube, eine voll eingerichtete bürgerliche Küche, Funde aus den Stadtgrabungen und eine umfangreiche regionale Keramiksammlung der Renaissance- und Barockzeit präsentiert.