Středa 11. prosince 2019, svátek má Dana
  • schránka
  • Přihlásit Můj účet
  • Středa 11. prosince 2019 Dana

Facebook do sekundy smaže teroristy, spam i nahotu. Můžete se odvolat

Exkluzivně   11:00aktualizováno  11:00
Londýn (od zvláštního zpravodaje Technet.cz) - Strojové učení, bezpečnostní analýza i povinná rozcvička krku. To jsou některé nástroje, které největší sociální síť světa používá k odhalování falešných účtů, kyberšikany, spamu a dalšího nežádoucího chování. Protože facebooková pravidla platí globálně, je často těžké hledat kompromis.

Na Facebook se neustále snaží proniknout falešné účty, teroristé i podvodníci. Vývojáři využívají k jejich blokování automatické nástroje a další triky. | foto: montáž: Pavel Kasík, Technet.czProfimedia.cz

Přesně před deseti lety jsme publikovali varovný článek o tom, jak neopatrně se důvěřiví Češi na Facebooku chovají. Založili jsme tehdy dva falešné účty neexistujících lidí a během několika hodin na ně nasbírali desítky přátel.

V roce 2019 jsme se tento experiment pokusili zopakovat, ale narazili jsme. Falešný účet založit šel, zařídili jsme si k tomu nový mail a nové telefonní číslo. Ale ve chvíli, kdy jsme o přátelství požádali prvního náhodného člověka, spadla klec. Automatická detekce podezřelého chování nás zmerčila a označila účet za nedůvěryhodný. Okamžitě byl pozastaven a my měli prokázat, že jsme ti, za které se vydáváme, což jsme logicky nemohli.

Takto Facebook zablokoval náš pokus vytvořit si falešný účet

Takto Facebook zablokoval náš pokus vytvořit si falešný účet

„Přesně tak to má fungovat,“ přikyvuje Tim Matthews, kterému anabázi s falešným účtem popisuji. Coby manažer londýnského týmu tzv. uživatelské integrity ví, o čem mluví. Odhalování falešných účtů je jeho každodenní práce. „Nemůže to samozřejmě být tak, že bych přišel do kanceláře, listoval jednotlivými profily a hledal ty klamavé. Při obrovském množství uživatelů, které Facebook má, je potřeba chytře zapojit strojové učení, statistiku a další triky.“

Rapidní detekce vychází z ručně definovaných pravidel, na kterých se natrénuje...

Rapidní detekce vychází z ručně definovaných pravidel, na kterých se natrénuje neuronová síť, která je pak schopna proaktivního blokování falešných účtů ještě před tím, než se dostanou do kontaktu s uživateli Facebooku

Jaké přesně triky, to jmenovat nechce – pak by všichni ti spammeři, podvodníci, manipulátoři a další „falešní uživatelé“ věděli, jak je obejít. V principu jde však o odhalení na základě neobvyklého chování, nezvyklé aktivity nebo podezřelého provázání s dalšími účty.

Podvodníkům protáhnou krční páteř

Jeden trik však novinářům prozradí: povinná rozcvička. Pokud nějaký účet svou neobvyklou aktivitou upoutá pozornost automatu a je podezřelý z toho, že jde o falešný či spamový účet, dostane několik úkolů. Jedním z nich je natočit se na webovou kameru, jak plní pokyny na obrazovce.

„Teď obrať hlavu doleva, doprava, nahoru, zase doprava, nahoru...“ Něco takového jde věrohodně napodobit jen těžko. „Útočník na to sice může najmout někoho, kdo za něj touto rozcvičkou projde, ale bude ho to stát čas a peníze a my jej nakonec nejspíš stejně zakážeme,“ vysvětluje Simon Cross, další z manažerů pro integritu.

Cross ukázal celou škálu postupů, které Facebook vyvinul pro boj s „neautentickým, nežádoucím a nebezpečným obsahem“. Jedno mají společné. „Vždycky jde o kompromis. Uvědomte si, že naše postupy musejí být dostatečně univerzální, aby mohly fungovat po celém světě a na myriádě různých obsahů, v různých kontextech,“ dodává Cross. Navíc je potřeba pravidla definovat tak, aby se jimi mohl řídit automat. Právě ten dělá většinu rozhodnutí. Při objemu, jaký Facebook a jeho další sítě (Instagram a WhatsApp) mají, se to prý ani jinak dělat nedá.

„Falešných účtů jsme za poslední rok odhalili a smazali skoro šest miliard,“ připomíná mi Cross. To je opravdu vysoké číslo. Není ale vysoké právě proto, že se podvodníkům stále vyplácí falešné účty tvořit? „Právě, to je ten problém. Sice jsme odhalili šest miliard falešných účtů, ale podíl falešných účtů na Facebooku aktivních zůstává podle našich odhadů pořád více méně stejný. Je teď ale pro útočníky mnohem dražší vytvořit falešný účet a jsme rychlejší v jeho odhalování.“

Napadá mne, zda by nebylo vhodné zkusit pro tyto falešné účty vytvořit alternativní Facebook. Tedy místo hlášky o zablokování účtu je potichu přesměrovat do alternativní dimenze, ve které by spamovali simulované uživatele a další spammery... „Vy se smějete, ale my o tom celkem vážně uvažovali,“ říká datová vědkyně Bochra Gharbaoui. „Jenže by to bylo technicky dost náročné, museli bychom věrohodně simulovat velké množství aktivit, a výsledek by byl nejistý. Navíc si představte, kdybychom do tohoto falešného Facebooku omylem poslali někoho skutečného. To by byl pro takového člověka příšerný zážitek, to opravdu nemůžeme riskovat.“

Proaktivní detekce teroristů, nahoty i spamu

Jednou z oblastí, kde se Facebook může pochlubit velkým krokem kupředu, je boj proti teroristické propagandě. Zatímco před pár lety byl při odhalování teroristických „memů“ a agitačních letáků odkázán na to, až takový příspěvek někdo nahlásí, nyní se Facebooku daří mazat naprostou většinu takových příspěvků ještě dříve, než je někdo živý uvidí.

Facebooku se daří většinu (přes 98 %) teroristické propagandy smazat dříve, než...

Facebooku se daří většinu (přes 98 %) teroristické propagandy smazat dříve, než ji uvidí byť jen jediný uživatel.

„Jakmile máme indikaci, že je něco spojeného s propagací terorismu, živý člověk to takto označí a práce se chopí počítače,“ vysvětluje Namrata Bostromová z londýnského týmu, který má za úkol detekci tohoto nebezpečného typu zpráv. Její kolega pak ukazuje, jak programátoři postupně ladili detekci klíčových prvků obrazu tak, aby ani úpravy nezabránily jeho automatickému rozpoznání. I v mamutí databázi facebookových obrázků tak odhalení trvá jen několik sekund a funguje napříč celou databází. „Jakmile jednou obrázek identifikujeme jako teroristickou propagandu, smaže se směrem do budoucnosti i do minulosti,“ říká Nicola Bortignon.

Setkání londýnského týmu vývojářů a odborníků na bezpečnost s novináři proběhlo...

Setkání londýnského týmu vývojářů a odborníků na bezpečnost s novináři proběhlo v jedné ze zasedacích místností. Nápis „Media Manipulation“ na pravé obrazovce odkazuje k automatizovanému pozměňování (manipulaci) obrázků (médií). Další ukázka toho, jak důležitý je kontext...

Podobně automatizovaně Facebook bojuje i v dalších oblastech dodržování komunitních standardů (které jsou od loňského roku veřejné). Třeba při detekci nahoty je však velmi důležitý kontext. Umění obsahující nahotu publikovat lze, ale poznat automatem umělecké dílo není jen tak. Dochází zde proto k relativně častým – a hojně medializovaným – přehmatům.

Nejlépe si automatická detekce vede u automatických účtů a spamu. Nejhůře...

Nejlépe si automatická detekce vede u automatických účtů a spamu. Nejhůře naopak detekuje šikanu, kde velmi záleží na kontextu

Nejtěžší je pro Facebook detekce šikany. Tam jde totiž opravdu nejen o kontext, ale i o subjektivní vnímání daného člověka. „Velmi nám záleží na tom, aby se lidé na platformě cítili bezpečně,“ uvedla Namrata Bostromová. Mluví proto s psychology o tom, jak oběti šikany popisují své zážitky a v čem by mohla spočívat ochrana. „Důležité je nejen vyhledávání nebo blokování šikanujícího obsahu, ale také posílení sebevědomí obětí šikany.“ Facebook v této oblasti stále spoléhá na to, že lidé šikanu sami nahlásí.

Oběti šikany se však bojí něco takového hlásit, mají třeba pocit, že to celou věc ještě zhorší. Například zablokovat někoho na Facebooku by pro oběť mohlo mít subjektivně horší důsledky. Proto Facebook testuje novou možnost částečného zablokování. Oběť může šikanující osobu „odstavit“ (restrict) a komentáře takového člověka pak nebudou veřejné, pokud k tomu samotný uživatel nedá povolení. Odstavený uživatel o tom ovšem neví.

Facebook experimentuje na Instagramu s novou funkcí. Pokud vypadá komentář...

Facebook experimentuje na Instagramu s novou funkcí. Pokud vypadá komentář „nenávistně“, zeptá se pisatele, zda jej chce skutečně odeslat, a dá mu tak možnost si to rozmyslet.

Kromě toho dostávají lidé nové možnosti filtrování komentářů. Mohou zadat slova nebo smajlíky, která se v komentářích pod jejich příspěvky zkrátka nesmí vyskytovat.

Vždy je možné se odvolat

Na závěr programu došlo na důležitý pilíř integrity. „Na začátku jsme říkali, že při takovémto množství budeme vždy dělat nějaké chyby. A proto je tu proces odvolání, aby ty chyby bylo možné napravit,“ uvedla datová analytička Sandi Conroyová. „Konkrétně jsme třeba od července do září dostali 1,4 milionu odvolání a na jejich základě jsme obnovili 172 tisíc příspěvků.“

Odvolací procesy jsou pro Facebook důležité hlavně ze tří důvodů: chce se...

Odvolací procesy jsou pro Facebook důležité hlavně ze tří důvodů: chce se poučit ze svých chyb při vyhodnocení obsahu, někdy neurčí správně mezní případy a jindy zase špatně vyhodnotí kontext

Do budoucna Facebook uvažuje o tom, že by na vyřizování odvolacích požadavků najal nějaký typ externího auditora. Nyní se odvolání vyřizuje pomocí náhodně sestavené poroty. Z patnácti tisíců lidí, kteří mají na starost kontrolu nahlášeného obsahu, se vyberou tři, kteří odvolání uživatele posoudí. Pokud je většina pro vyhovění požadavku, dojde ke zvrácení původního rozhodnutí.

„Často si lidé myslí, že když nějaký příspěvek nahlásí hodně lidí, tak se jím budeme více zabývat. Tak to ale není. I když na nějaký příspěvek přijde tisíc hlášení, zabýváme se jím jen jednou,“ upřesnil Simon Cross. Různé „nahlašovací kampaně“ tak podle něj nemají význam a jsou spíše lidovým mýtem.

Při následném rozhovoru s manažery pro integritu (cestu na setkání platila firma Facebook, pozn. red.) jsem si opět uvědomil komplikovanou strukturu této kalifornské společnosti s vpravdě globální působností. „Na toto nemůžu odpovídat, protože to je specifický typ podvodu, kterým se zabývá speciální tým...“ slyšel jsem minimálně pětkrát. Zřejmě to při dvou miliardách aktivních uživatelů jinak nejde. Facebook, zdá se, začal v posledních letech brát vážně to, co ještě před deseti lety vůbec řešit nemusel.

„Ale než se budeme plácat po zádech, je dobré říci, že jako zlepšujeme své nástroje my, tak je zlepšují i podvodníci,“ připomněl mezi řečí programátor Nicola Bortignon. Takže zatímco Facebook trénuje svou „umělou inteligenci“ na historických a simulovaných datech, vznikají další podvody a útoky, na které současný Facebook nemusí být připraven.

Autor:

Přechod na DVB-T2

Od 27. 11. probíhá postupný přechod na vysílací standard DVB-T2. Proces by měl být dokončen do poloviny roku 2020. Diváci si tak musí pořídit televizi s podporou kódování H.265 (HEVC) nebo starší televizi doplnit vhodným set-top boxem.

  • Nejčtenější

Levněji už to nejde. Největší televizor z Opavy však má své mouchy

Nabídku LCD televizorů na českém trhu nově rozšířily modely značky GoSat. Všechny stojí do deseti tisíc korun a my si...

Auto je zbytečné, je to fosilní zábava, řekl fyzik v Rozstřelu

Mít vlastní auto ve městě dnes není luxus, nýbrž „opruz“ - a dobrý způsob, jak snížit naší spotřebu peněz i materiálu,...

Tajný kód v dokladech i program na výběr ideálního agenta. Co chystala StB

I všemocná komunistická Státní bezpečnost se potýkala s problémem obrovského množství informací a nemožnosti je...

USA testují vojáka budoucnosti. Přes brýle uvidí nebezpečí a neztratí cíl

Na vojenské základně Fort Pickett ve Virginii testují vojáci brýle s průhledovými displeji IVAS (Integrated Visual...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Molotovův koktejl: finský lihovar přinášel zkázu sovětským tankistům

Podobně jako nouze naučila Dalibora housti, museli se finští obránci během zimní války spolehnout v boji se sovětskými...

Premium

Cítím hořkost. Bývalý šéf mordparty poprvé promluvil o svém odchodu

Nejznámější český kriminalista Josef Mareš sloužil u policie téměř třicet let, stál za objasněním řady vražd a...

Premium

Zalepili matce prsa, aby nemohla kojit. Při příbězích z Osvětimi pláče i průvodce

Lukáš Lev provází v koncentračních táborech a popisuje nacistická zvěrstva. Jeho babička si však stála za tím, že za...

Premium

Kam dál, Slavie? Manažer Nezmar připouští obavy: Jsme na hraně

Na Dortmund má jednu bizarní vzpomínku. Po letech se jí zasměje, ale tehdy? V březnu 2002 bylo Janu Nezmarovi ouvej....

  • Další z rubriky

Tipy na weby: odesílejte papírové dopisy a hledejte zajímavé výlety

Papírový dopis již nemusíte psát ručně ani ho tisknout či hledat obálku na známku. Stačí na to služba Listonoška.cz....

Instagram se bude ptát na věk uživatelů

Sociální síť Instagram bude při přihlášení nově požadovat zadání věku uživatele. Firma tak chce podle svých slov...

Tipy na zajímavé weby: výhodnější pronájem bytu nebo kontrola potravin

Správné služby pro pronájem garantují stav bytu, hlídají zda nájemník platí a nedělá škody. Výkon procesoru v PC ukáže...

Twitter začíná s velkým čištěním. V prosinci smaže neaktivní účty

Do nového roku s čistým štítem se rozhodla jít sociální síť Twitter. Příští měsíc totiž bude mazat všechny účty, které...

Najdete na iDNES.cz