Video s falešnou Gal Gadot, které odstartovalo deep fakes mánii koncem roku 2017.
Pamatujete ještě na „deep fakes“, videa vytvořená neuronovou sítí, kde je obličej jednoho člověka nahrazen obličejem člověka jiného? Nejčastějším využitím tohoto nástroje byla tvorba pornografických materiálů, obvykle anonymní tvůrci nalepili tvář známé herečky na pornografický klip. Sociální sítě, včetně Twitteru a Redditu, na začáku roku 2018, několik týdnů po jejich masivnějšího nástupu, zakázaly šíření těchto klipů, které odborníci označili za „nedobrovolnou pornografii“ (více v našem článku).
Jak vypadají a fungují tzv. deep fakes (video Technet.cz):
Na myšlenku aplikace DeepFakeApp letos navázal „malý tým“ anonymních programátorů z Estonska nástrojem DeepNude. Zatímco autor DeepFakeApp koncem roku 2017 víceméně tvrdil, že jde o výzkumný experiment, nový DeepNude nechodil kolem horké kaše: z fotky žen dělá pomocí analýzy obrazu a strojového učení fotky nahých žen. A nikoli zadarmo, ale za peníze. Prémiová verze, která dělá nahé fotky bez vodoznaku, stála 99 dolarů (přes dva tisíce korun).
Aplikace DeepNude (ukázka vytvořená autorem programu, redakčně rozmazáno)
Aplikace DeepNude se však na webu dlouho neohřála. Napřed web nevydržel masový zájem, později sám autor na základě negativní zpětné vazby oznámil, že „z důvodu hrozícího zneužití“ aplikaci bez náhrady stahuje. Těm, kdo si pořídili placenou verzi, nabídl vrácení peněz.
Po webu nyní kolují různé verze původní aplikace. Bezpečnostní odborníci varují uživatele, aby ji nestahovali, protože se z ní stal oblíbený trojský kůň pro šíření škodlivého software.
Jak aplikace fungovala
Na aplikaci jako první z velkých médií upozornily weby Vice a Verge. „Oblečení nahradí počítačový program obnaženými prsy a vulvou,“ uvedl Vice. „Když jsme do aplikace dali fotku muže, program nahradil kalhoty vulvou.“ Je tedy zřejmé, že neuronová síť aplikace se trénovala pouze na fotkách nahých žen.
Tvorba svlečené fotomontáže v aplikaci DeepNude
„DeepNude fungovala různě dobře na různých fotkách. Nejlépe si poradila s fotkami, na kterých oblečení už tak odhalovalo hodně,“ uvedl redaktor, který aplikaci vyzkoušel. „Vyzkoušeli jsme aplikaci na desítkách fotek, nejkvalitnějších výsledků jsme dosáhli na obrázcích s vysokým rozlišením.“
Tvorba svlečené fotomontáže v aplikaci DeepNude
Aplikace naprogramovaná v Pythonu zabrala po stažení přes 1 GB místa na disku. Ve verzi zdarma umožnila vytvoření obrázku, do kterého bylo vloženo logo aplikace a vodoznak. Placená verze nevkládala vodoznak a logo, ale stále vložila do výsledného „svlečeného“ obrázku několik menších nápisů „fake“, aby tak upozornila na to, že jde o fotomotnáž.
Generativní adversiální neuronová síť (GAN) se trénovala na desítce tisíců fotek nahých žen, podle programátora proto, že „bylo jednodušší je na webu nalézt“.
Jak funguje strojové učení generující "fotky"Generativní adversiální síť GAN Podle informací Technology Review programátor DeepNude využil tzv. generativní adversiální síť (Generative adversial network, zkráceně GAN). Tato síť jsou vlastně dvě neuronové sítě: tvůrce a kontrolor. Celý proces je relativně zdlouhavý a komplikovaný, ale základní princip je jednoduchý. Tvůrčí síť začne generovat obrázky dle těch, na kterých se trénovala. Síť "Kontrolor" se snaží tyto (zpočátku náhodně) generované obrázky odlišit od skutečných fotek. Tvůrčí neuronová síť dostane informace o tom, které její výtvory sítem prošly a které ne, a díky tomu se postupně učí, jak lépe vytvářet uvěřitelné obrázky. |
Výsledky, které Technet.cz mohl posoudit, nevypadaly většinou realisticky a rozhodně nedosahovaly úrovně profesionálně vytvořených montáží. Ve změněných částech fotky se objevovaly žluté artefakty podobné kompresi JPEG, anatomie vypadala místy nerealisticky, detaily prozrazovaly, že s fotkou není něco v pořádku. Generativní síť zřejmě nebyla natrénována a vyladěna tak profesionálně, jako tomu je třeba u generování tváří od vědců NVIDIA (a i tam občas vznikají nerealisticky vypadající výtvory).
Rychlost a automatizace výroby nahých montáží ale ukazovala, že lidé, kteří mají motivaci a dostatek času nazbyt, by s jejím využitím dokázali produkovat fotky svlečených žen, které by na první pohled nebo v nízkém rozlišení mohly působit důvěryhodně. To vše s minimálním úsilím a na fotce naprosto jakékoli ženy.
Hrozilo zneužití aplikace
Vývojářský tým krátce po zveřejnění oznámil konec projektu. A důvod? Prý šlo původně o projekt vytvořený pro zábavu, ze kterého se neměla stát masová záležitost. Vzhledem k obřímu počtu zájemců je prý vysoká pravděpodobnost zneužití jejich „svlékacího“ softwaru.
Je těžké si představit "legitimní využití" svlékací aplikace, za které by byli uživatelé ochotni platit. Naopak způsobů, jak počítačem svlečené motnáže žen zneužít, je bezpočet: vydírání, šikana, poškození pověsti, pomsta... |
To samozřejmě kontrastuje s tím, že aplikaci nabízeli za peníze a měli připravený i navazující on-line službu, která umožnila svlečené fotky objednávat bez nutnosti instalace. Těžko je možné tvrdit, že autora nenapadlo, že by mohlo dojít ke zneužití. Jen těžko si lze představit legitimní využití takové aplikace, za které by zároveň byl někdo ochoten zaplatit tisíce korun.
Různých forem zneužití takové aplikace je naopak bezpočet: vydírání, veřejné zesměšňování, šikana, pomsta, poškození něčí pověsti atd. Všechny způsoby, kterými lze zneužít reálné nahé fotky, ovšem s tím rozdílem, že v tomto případě žena nemůže nijak zabránit jejich vzniku.
Autor aplikace informoval, že již neuvolní žádnou novou verzi a neumožní ani další použití webové aplikace. „Nechceme takto vydělávat peníze,“ dodal.
Za jeden falešný obrázek obnažené ženy si totiž účtoval 50 dolarů
(zhruba 1 100 Kč), jinak tělo zakryl vodoznak. „Svět ještě není na DeepNude připraven,“ uzavřel sdělení poněkud pokrytecky neznámý estonský programátor.
Na síti vzbudila aplikace různé – a celkem předvídatelné – reakce, ne nepodobné těm v případě pornografických montáží deep fakes. Naprostá většina uživatelů byli muži, naprostá většina obětí ženy.
„Aplikace DeepNude potvrzuje naše největší obavy ohledně toho, jakými jedinečnými způsoby mohou být audiovizuální nástroje zneužity proti ženám,“ uvedla pro Technology Review Mutale Nkode, výzkumnice Data and Society Research Institute. Aplikace zcela nepokrytě cílila na mužské publikum a nezastírala fakt, že uměla generovat pouze ženské pohlavní znaky.
Aplikace "obnažovala" jen ženy, s muži si poradit neuměla
Programátor, který si zachovává anonymitu a vystupuje pod přezdívkou „Alberto“, ruským novinářům sdělil, že jej inspirovala idea „rentgenových brýlí“ z dětství. Pro projekt použil algoritmus, který se používá k „dokreslení“ neúplných objektů. DeepNude přirovnal k Photoshopu, ve kterém lze dosáhnout stejných výsledků.
Placená verze programu DeepNude odstranila z vygenerované montáže vodotisk a logo, nechala však několik nápisů „fake“ (redakčně rozostřeno).
V licenčním ujednání sice tvrdil, že každý obrázek upravený softwarem DeepNude je „falešnou parodií“ a že jde o „zábavu nepropagující sexuálně explicitní obrázky“, nicméně server Verge upozornil, že aplikace působí v právní „šedé zóně“. To, že je obrázek montáží, neznamená, že bude jako montáž vždy chápán. Tvorba takové montáže tedy může mít reálné následky.
Huffington Post například popisuje příběh osmadvacetileté ženy, která se stala terčem videomontáže typu „deep fake“. Někdo její obličej „narouboval“ na pornografické video a výsledek šířil po síti mezi její přátele a známé. Přestože žena věděla, že nejde o její video, byl výsledek děsivě realistický. „Bylo to hrozné,“ popsala žena. „Nikdy jsem nic takového neviděla. Když jde o fotomontáž, je to statická fotka a je celkem evidentní, že může být falešná. Ale když je to váš vlastní obličej, který se pohybuje a reaguje na okolí, vyvolává to ve mně paniku. Nemůžete ovlivnit, co lidé s vašimi fotkami udělají.“
Výsledky jsou nedokonalé. Zatím
Právě ženy jsou – i vzhledem k tomu, že ženská nahota je obvykle vnímána jinak než nahota mužská – častější obětí různých forem kyberšikany. Někdy jde o vydírání nahými fotkami, jindy o zveřejnění nahých fotek a videí bez svolení (tzv. revenge porn). Obrana proti takovému zásahu do soukromí a důstojnosti je složitá a mnohdy vyčerpávající.
Jak videa vytvořená aplikací FakeApp, tak „svlečené“ fotografie vytvořené aplikací DeepNude, obvykle obsahují řadu indicií, které prozradí, že jde o fotomontáž generovanou počítačem. Videa například mají problém napodobit přirozený pohyb očí, také vlasy před obličejem způsobí tvorbu artefaktů jasně prozrazujících, že jde o montáž.
Ukázka "deep fake" montáže. Vlevo původní video, vpravo montáž.
Pokud si však někdo dá práci s vyladěním parametrů a vytrénováním modelu pro nahrazování obličeje, může pomocí strojového učení dosáhnout fotorealistických výsledků. Takové video pak lze využít například pro dehonestaci politického protivníka. Nebo pro testování toho, jaké jsou hranice umění a osobnostních práv.
Falešné video s podobou Marka Zuckerberga:
Zatímco tvorba fotomontáží tradičními metodami vyžaduje čas a určité schopnosti či praxi, nové algoritmy využívající strojového učení začínají generovat stále realističtější obrazy a videa. Toho lze zneužít na jednotlivé úrovni k vtípkům a šikaně, v masovém měřítku pak třeba k šíření poplašné zprávy nebo dehonestaci politika v klíčový okamžik. Obrana bude složitá. Musíme si zvykat na to, že vidět neznamená věřit.
„Technologie není neutrální,“ připomíná Sam Gregory, šéf neziskové organizace Witness zabývající se využívání audiovizuálních nástrojů při ochraně lidských práv. „Tato aplikace nemá jedno dobré a jedno špatné použití. Byla vytvořena z amorálních pohnutek. Měli bychom se soustředit na to, jaká etická pravidla a normy platí při tvorbě nástrojů pro vytváření obsahu.“
Počítač si umí vymyslet náhodnou tvář člověka, který neexistuje (2019):
Aktualizace: Do článku jsme připojili informace o tom, jak program fungoval. Doplnili jsme vysvětlení sítě GAN.
