Sídlo vlastnila židovská rodina Bloch-Bauer. Shromáždila v něm fascinující uměleckou sbírku, do které patřil i nejslavnější secesní obraz světa Zlatá Adele Gustava Klimta.
David Bloch (1820–1897) se narodil v Mladé Boleslavi a vypracoval se v jednoho z nejvýznamnějších cukrovarnických podnikatelů rakouské monarchie. Patřily mu cukrovary v Kostelci, Libáni a Úžici, v řadě dalších měl podíl. Jeho úspěch umožnil i společenský vzestup jeho čtyř synů. Nejstarší Adolf se usadil na zámku v Dětenicích, a dokonce byl v roce 1914 císařem povýšen do rytířského stavu. Největších úspěchů ale dosáhl Davidův nejmladší syn Ferdinand (1864–1945). Byl bankéřem, velkoprůmyslníkem a zasedal v představenstvu významných průmyslových koncernů Rakouska.
Zlatou Adele koupil mediální magnát Ronald Lauder pro svou newyorskou galerii. Cena 135 milionů dolarů byla tehdy vůbec nejvyšší částkou v historii, jakou kupec zaplatil za jeden obraz. Druhou podobiznu, Adele II, koupila moderátorka Oprah Winfreyová.