Nejstarší budovou města je zajisté zámek. Jeho vzhled byl od 12. století díky přestavbám a přístavbám často změněn.
Hospodářské a administrativní budovy, které se nacházely v nádvoří zámku, vznikly až v baroku, stejně tak i kruhový portál s erbovou kartuší, který městský hrad do dnešního dne odděluje od náměstí.
V roce 1859 nabyl majetek arcivévoda Sigismund von Habsburg-Lothringen. Nechal provést několik změn a dal zámku konečně jeho dnešní vzhled. Taktéž přilehlým zámeckým parkem, který se od roku 1985 nachází ve vlastnictví Městského úřadu Gmünd, se všemi botanickými raritami jako jsou papírová bříza, krvavé buky nebo severoamerická okurková magnolie, dokázal arcivévoda ohromit. Své poslední místo odpočinku má v mauzoleu na Gmündském hřbitově.
V roce 1985 prodala správa majetku rodu Habsburg-Lothringen zámek správě bytového družstva, která jej zrenovovala a rozdělila na byty v osobním vlastnictví.
