Das älteste Gebäude der Stadt ist sicherlich das Schloss. Das Aussehen wurde seit dem 12. Jahrhundert oftmals durch Um- und Zubauten verändert.
Die Wirtschafts- und Verwaltungsgebäude, die sich im Vorhof des Schlosses befanden, entstanden erst im Barock, ebenso wie das Rundbogenportal mit Wappenkartusche, das die Stadtburg bis heute vom Stadtplatz abgrenzt.
Im Jahr 1859 erwarb Erzherzog Sigismund von Habsburg-Lothringen den Besitz. Er ließ einige Veränderungen vornehmen und verlieh dem Schloss endgültig sein heutiges Aussehen. Auch den Auftrag zur Anlage des Schlossparks, der sich seit 1985 im Eigentum der Stadtgemeinde Gmünd befindet und mit allerlei botanischen Raritäten wie Papierbirken, Blutbuchen und Nordamerikanischen Gurkenmagnolien beeindruckt, gab Erzherzog Sigismund, der im Mausoleum am Gmünder Friedhof seine letzte Ruhstätte fand.
Im Jahr 1985 verkaufte die Habsburg-Lothringische Gutsverwaltung das Schloss an eine Wohnbaugenossenschaft, die es renovierte und in Eigentumswohnungen aufteilte.
