Propadané stropy, provlhlé stěny, opadaná omítka, beznadějně rozkradený mobiliář, místo rozsáhlých parků a zahrad hluboká uhelná díra Dolu Československé armády. Rodina nakonec musela přijmout těžké rozhodnutí. Majetek, který byl několik generací její, Martin Lobkowicz v roce 1996 daroval státu. Na mnohamilionové opravy zkrátka nebyly peníze.
Na elegantní zámek se s vděčností nastěhoval štáb SS. Ze zámku se ale brzy stal tábor pro elitní zajatce. A začaly první stavební zásahy. Fasáda byla natřena maskovací zelenou barvou, kolem zámku byly postaveny ploty a strážní budky.