Pałac początkowo nazywany również „Zamkiem Wałbrzych”, został wybudowany w latach 1606 – 1628 przez rodzinę von Czettritz Nastąpiło to po pożarze Zamku „Nowy Dwór”, którego ruiny znajdują się w wałbrzyskiej dzielnicy Podgórze.
Do połowy XVII w. w rezydencji zamieszkiwała wdowa po Diprandzie von Czettritz. Po jej śmierci pałac przeszedł w ręce Henryka von Czettritz, a potem Marii Katarzyny Bibrian z domu Czettritz. W tym okresie prawdopodobnie nie zostały dokonane żadne zasadnicze zmiany w budynku dworskim.
W końcu w roku 1738 ówczesny zamek wraz z miastem przeszedł drogą kupna w posiadanie Konrada Maksymiliana Hochberga. Nastąpiły prace modernizacyjne. Dostawiono wówczas cylindryczną wieżę z klatką schodową, a w murze wykuto nowe wejście, ozdobione pseudorenesansowym portalem i herbem Hochbergów, którego domeną są trzy pagórki nad czerwono-białą szachownicą.
Od 1882 r. siedziba ulegała dalszej modyfikacji. Od strony południowej dobudowano 2-kondygnacyjny człon z płaskim stropodachem, a w latach następnych dalszy fragment muru oraz wysoki budynek administracyjny. Ostatnią rozbudowę przeprowadzono w roku 1922 w kierunku południowym.
Po wojnie kompleks służył różnym instytucjom. W latach 1964-65 zostały przeprowadzone roboty elewacyjne całego obiektu.
Pałac jest położony na terenie parku, którego powierzchnia wynosi 4,30 ha. Znajdują się tam również dwie wille. W starszej z nich (z 1905r.) zmarła w 1944 roku księżna angielskiego pochodzenia Maria Teresa Pszczyńska, nazywana księżną Daisy, ciotka Winstona Churchilla, ostatnia właścicielka zamku „Wałbrzych”, pani na Książu i Pszczynie. W roku 2007 na dziedzińcu zespołu wzniesiono postument upamiętniający księżną.
Od 2004 r. pałac jest siedzibą Państwowej Wyższej Szkoły Zawodowej im. Angelusa Silesiusa. Pałac Czettritzów znajduje się na ul. Zamkowej 4, na trasie spacerowej „Szlakiem Starego Grodu”, oznaczonej kolorem czerwonym.
