Zámek stojí na místě původní tvrze z 15. století, kterou vlastnili Jahnové – jejich náhrobky jsou umístěné v průjezdu zámku. Ta se později změnila v panský dům a ten nechal Jan Josef Valdštejn zhruba v letech 1727–1742 přestavět do podoby dnešního barokního zámku podle plánů architekta Maxmiliána Kaňky.
Koncem 18. století zde pobýval známý světoběžník, literát a milovník žen Giacomo Casanova. Po 1. světové válce se honosné místnosti změnily na kanceláře a byty a až do roku 1995 zámek chátral.
Kompletní rekonstrukci, která proběhla v letech 2006–2014, navrhlo vedení města a získalo na ni finanční podporu z ministerstev financí a kultury a z Ústeckého kraje. Zámek dostal novou fasádu, okna, dveře a podlahy. Restaurátoři opravili kování, kamenné portály a ostění a vznikla plošina pro vozíčkáře.
Obrovskou proměnou prošla největší místnost zámku, která byla v minulosti přepažena na byty – vybouralo se vložené patro a příčky a byly restaurovány malby.
V současnosti zámek plně slouží nejrůznějším místním aktivitám. Probíhají tu krátkodobé i dlouhodobé výstavy, v galerii si mohou návštěvníci prohlédnout plastiky akademického sochaře Stanislava Hanzíka – některé z vystavených soch se objevily ve filmu Pupendo.
Zámek je místem kulturně-společenských akcí. Pořádají se zde velikonoční, podzimní a vánoční programy zpestřené malými jarmarky a dětskými dílničkami. Na nádvoří se v letním období konají promenádní koncerty. V zámku sídlí Turistické informační centrum a různé spolky.
Po první světové válce přešel zámek do vlastnictví státu a sídlila zde hospodářská správa velkostatku. Po roce 1948 byl objekt užíván Správou státních lesů v Litvínově. Snímek je z roku 1955.
V roce 1738 vznikla kolem budovy okrasná zahrada, která se však nedochovala. Roku 1878 založil Jiří Vilém z Valdštejna zámecký park v anglickém stylu o rozloze osmi hektarů se vzrostlými stromy, bazénem a skleníkem.
Aktuálně má park asi 39 tisíc metrů čtverečních a po revitalizaci skýtá společně s reprezentativním velkým sálem zámku, monumentálním schodištěm a nádvořím s lípou ideální prostory pro svatební obřady.
Zdařilé rekonstrukce jsou aktuálně k vidění na putovní výstavě Má vlast cestami proměn.
