Majitel panství Zdeněk Žampach z Potštejna přistoupil v roce 1554 k výstavbě tvrze na náměstí v Kyšperku (na místě dnešního východního křídla zámku). Tvrz byla dřevěná, jednoduchá, bez jakéhokoliv opevnění. Místo Vitanovského ulice se nalézal hluboký přírodní příkop, stejně jako na místě cesty na zámeckou terasu. Takže tvrz se nacházela na táhlém hřbetu, počínajícím nad nynějším náměstím. V roce 1681 přistoupil tehdejší majitel panství hrabě Hynek Jetřich Vitanovský z Vlčkovic k přestavbě zmíněné tvrze na raně barokní zámek. Tvrz byla rozbořena, zůstaly stát jen kamenné podezdívky a sklepy, na nichž vyrostla dvoupatrová zámecká budova, ovšem s věží, která byla představena před východní zeď (terasa). Věž tedy nevystupovala z hřebenu střechy jako nyní, ale byla samostatnou stavbou a měla společnou jednu zeď se zámkem. Po této věži zbyly základy, na nichž byl později zbudován balkon. Naproti tomuto dvoupatrovému křídlu byla postavena ve stejném roce jednopatrová budova, v níž byl zřízen vrchnostenský špitál. Obě budovy byly propojeny jednoduchou zdí, jež stála na místě dnešního spojovacího křídla. Vedle zámku byla v letech 1681 - 85 zbudována vrcholně barokní zámecká kaple (nynější kostel sv. Václava), oslňující svou jedinečnou štukovou výzdobou. Neméně kvalitními štukami byly vyzdobeny i přízemní prostory a 2. patro východního křídla zámku. Postupem času přestal zámek prostorově vyhovovat, a tak hraběnka Terezie Bredová ze Špandavy počala zámek v roce 1730 přetvářet. Došlo k úpravám interiérů prvního patra hlavní zámecké budovy. Byla odstraněna věž, z níž se dochovala jen její přízemní část (balkon). Nová věž vypadala tak, jak ji známe dnes, ovšem bez hodin (dosazeny v 1. pol. 19. stol.).Potom následovaly terénní úpravy kolem zámku, především jižně od budovy. Získaného prostoru bylo využito k rozšíření nádvoří a vytvoření zahrady. Ke zpevnění nevyváženého terénu byly vybudovány opěrné zdi. Úpravy dokončila dcera Terezie Bredové Marie Anna, provdaná Cavriani. Dala rozbourat původní prostou zeď mezi oběma křídly a na jejím místě postavit spojovací křídlo. Přízemí spojovacího křídla oboustranně zdobí arkády a uprostřed střechy se tyčí polygonální věžice, kterou byl zvýrazněn hlavní vstup do zámku. Současně s výstavbou spojovacího křídla byla upravena i severní část jednopatrového západního křídla, obrácená do náměstí. Zmíněné úpravy prováděl vrchnostenský stavitel J. Toman. K dalšímu rozšíření zámku došlo za hrabat ze Stubenbergu, jmenovitě za Karla Stubenberga. Jednopatrové západní křídlo bylo na jižní straně prodlouženo kvůli výstavbě lokajny (Vitan. ulice), ke které došlo v letech 1897 - 98. Dále byla v letech 1901 - 1903 upravena pseudoklasicistně fasáda celého areálu a v letech 1904 - 1905 vznikla nová schodiště u obou zámeckých budov. Přestavby provedl kyšperský stavitel Alois Petřík. Jedno ze schodišť bylo odstraněno při rekonstrukci v roce 1995. K dalším změnám členění budov již nedošlo, pouze k malým interiérovým úpravám v letech 1947 - 1989.

Sestavil: P. Hrdina, Městské museum Letohrad