Kostel architektů Maxe Kühna a Heinricha Fanty byl předán stavebnímu výboru v roce 1907. Nedobře ale začalo být po druhé světové válce. Původní farníci odešli do Německa a vypukla doba, která církvi, mírně řečeno, dvakrát nepřála.
„Kostel navštěvovaný i opatrovaný německy hovořícím obyvatelstvem byl po odsunu opuštěn,“ uvedl ve své diplomové práci o kostele na Masarykově univerzitě Jan Dostalík.
Mše tu byla naposledy sloužena někdy roku 1958. Už v roce 1954 ale došlo k prvnímu většímu poškození kostela. Byl vykraden a podle zprávy Veřejné bezpečnosti se stal „útočištěm party narušené mládeže“. Další krádeže následovaly poté.
V letech 1964 až 1974 v Liberci působil arciděkan Alois Frait. Ten se snažil uchránit církevní stavby před devastací, seč mohl, jakkoliv to nebylo v bezbožné době snadné.
V prosinci 1966 zaslal Občanský výbor v Ruprechticích Arciděkanskému úřadu v Liberci stížnost na neutěšený stav kaple U Obrázku a žádá „zajistit přístup do kostela, neboť byli viděni výrostci, jak demolují vnitřní části kostela, vypáčili dveře a demolovali krytinu“.
Páter Frait dal dveře oplechovat falcovým obložením a zabezpečit je zevnitř silnými sochory. Načež se vandalové vloupali okny poté, co vytrhli železné mříže. Zdemolován byl velký lustr, oltář byl rozštípán.
V zimě si udělali v kostele svůj opěrný bod a shromaždiště lyžaři. V sedmašedesátém řešily Občanský výbor a Veřejná bezpečnost vandalismus v kostele opakovaně.
V únoru 1968 pronajal vikář Frait kostel stavebnímu družstvu Sever, které si v něm uložilo stavební materiál. Do kaple v té době zatékalo a družstvo se, přes počáteční ujišťování, že střechu opraví, k ničemu nemělo. Lidé si dokonce suverénně odnášeli tašky ze střechy.
Zabedněná okna a dveře vandalové dál a dál vyvraceli, což neuniklo kritice v místních novinách Vpřed. Nakonec vše vyvrcholilo zrušením nájemní smlouvy.
V červnu 1971 učinil páter Freit pokus nechat zřídit v kapli byt.
To ovšem smetl ze stolu liberecký Úřad hlavního architekta s odůvodněním „bylo prokázáno, že zřízení bytové jednotky není technicky proveditelné a neřeší záchranu celé stavby“.
Na přilehlé louce měl vyrůst autokemp. Páter se odvolal
„Z bohaté korespondence mezi zářím 1971 a červnem 1972 vyplývá dokonce, že kaple U Obrázku měla být přenechána k dočasnému užívání informačnímu a propagačnímu podniku Ruch, který poblíž hodlal zřídit autokemp. Využila by se přilehlá louka a kaple by byla užívána jako sklad potravin a nápojů,“ uvádějí v knize 100 let ruprechtického kostela Luisa Petráková a Olga Doležalová.
V prosinci 1972 bylo vydáno souhlasné rozhodnutí o zřízení kempu. Mělo tu vyrůst sociální zařízení, parkoviště, tábořiště a rekonstrukce měla kostelík změnit na restauraci.
Páter Frait se ovšem proti schválenému odnětí 3,4 hektaru půdy kolem kaple odvolal. Dochovaly se stohy korespondence, ovšem konec není znám. Ať tak či onak, kempink nakonec nevznikl.
V říjnu 1975 se začalo blýskat na lepší časy. K dlouhodobému užívání si zbědovanou kapli pronajal coby budoucí ateliér architekt Stanislav Švec. Byl to první nájemce, který pro kostel něco udělal: během následujících let byly opraveny krovy, obnoveny vitráže, opravena vytlučená okna a děravá střecha.
Po roce 1989 přišly velké změny: skončil útlak církve a vybité kostely se začaly vracet svému účelu. V Ruprechticích došlo nejprve na kostel svatého Antonína, který sloužil jako muzejní depozitář, od léta roku 1995 pak na kapli U Obrázku.
Pomohl i ruprechtický páter Antonín Kejdana, který u kaple přespával, aby nikdo nerozkradl stavební materiál, čile jezdil i s kolečkem.
Po 89 letech znovu v srpnu 1998 od základu zrekonstruovanou kapli Panny Marie U Obrázku vysvětlil litoměřický biskup Josef Koukl.
