Na počátku všeho stály časté dotazy čtrnáctileté dcery počítačového experta Briana Levina z University of Massachusetts Amherst, zdali si může danou aplikaci stáhnout. Jakožto zodpovědný otec, než instalaci jakékoli aplikace povolil, si v App Storu prošel mnohdy stovky uživatelských recenzí. Hledal v nich jakýkoli náznak obvinění sexuálního útoku na děti. To jej podle portálu The New York Times přivedlo na myšlenku nástroje, který by rodičům usnadnil rozhodnutí, zda je, či není daná aplikace pro jejich potomka vhodná.
Se svým týmem tak vymyslel unikátní webový nástroj The App Danger Project. Bezplatný nástroj prostý jakýchkoli reklam pomocí algoritmu strojového učení skenuje v aplikačních obchodech App Store a Google Play uživatelské recenze aplikací sociálních sítí, a to nejen těch známých, ale i těch méně rozšířených, a filtruje ty, které vzbuzují obavy z vykořisťování dětí. Příslušné aplikace následně označuje za pro děti potenciálně nebezpečné.
Nástroj se v hodnocení aplikací zaměřuje na použitý kontext určitých slov a frází. Podle Levina totiž existuje řada recenzí, v nichž je takové rizikové chování vůči dětem nějakým způsobem zmíněno, ale není vůbec snadné je objevit, jelikož jsou utopené někde hluboko ve stovkách dalších hodnocení příslušné aplikace.
Levin při zkoumání uživatelských recenzí spolu s tuctem dalších počítačových vědců zjistil, že z 550 aplikací sociálních sítí, které jsou dostupné v aplikačních obchodech App Store a Google Play, měla pětina dvě či více stížností týkajících se sexuálního zneužívání dětí. U 81 aplikací tým expertů objevil sedm a více takových stížností. Levin je přesvědčen, že společnosti Apple a Google by měly odvádět lepší práci, co se týče informovanosti o nevhodnosti aplikací pro děti a být aktivnější při jejich odstraňování z aplikačních obchodů.
Aplikace i přes obvinění z obchodů nezmizely
Jednou z těch, která podle nástroje The App Danger Project není pro děti bezpečná a i přesto zůstává v aplikačních obchodech, je aplikace Hoop. Podle nástroje totiž 176 z 32 000 recenzí od roku 2019 obsahovalo zprávy o sexuálním zneužívání. Podle The New York Times jde o jednu z trojice rizikových aplikací (zbylé dvě jsou MeetMe a Whisper), kterým podle analytické společnosti Sensor Tower pomohly hlavní aplikační obchody navzdory několika uživatelským recenzím varujícím před sexuálním zneužíváním dětí vygenerovat loni obří tržby ve výši 30 milionů dolarů (více než 658 milionů korun). Portál PhoneArena nastínil pravděpodobný důvod, proč tyto aplikace nebyly po těchto obviněních staženy z aplikačních obchodů: Apple i Google si totiž z každé transakce uskutečněné v aplikaci berou běžně až 30 % její hodnoty.
Google nicméně podle jeho mluvčího aplikace uvedené v nástroji The App Danger Project prošetřil, přičemž údajně nebyly nalezeny žádné důkazy o zneužívání dětí. „Zatímco uživatelské recenze hrají důležitou roli coby spouštěče dalšího vyšetřování, tak obvinění v nich nejsou sama o sobě dostatečně spolehlivá,“ uvedl k věci mluvčí Googlu.
Stejný krok učinil i Apple, oproti Googlu šel však dále. Ze svého aplikačního obchodu totiž vyřadil deset aplikací, které byly uvedené na webových stránkách The App Danger Project. Neuvedl však, které to byly. Mluvčí společnosti se v této souvislosti nechal slyšet, že tým specialistů Applu neustále pečlivě kontroluje každou novou aplikaci i aktualizace těch stávajících, aby se ujistil, že splňují standardy Applu.
Mezi aplikacemi, které nekompromisní nástroj The App Danger Project vyhodnotil jako pro děti rizikové, figurují i hojně rozšířené aplikace jako třeba WhatsApp či Snapchat.
Podle PhoneAreny však třeba nový správce Snapchatu uvedl, že díky novému systému moderování obsahu je aplikace bezpečnější. V podobném duchu se brání i lidé stojící za již výše zmíněnými aplikacemi Hoop a MeetMe. Výkonný ředitel společnosti Hoop Liatha Arichea uvedl, že se aplikace naučila, jak se s vypořádat s roboty a uživateli s nekalými úmysly. Proti zneužívání a vykořisťování nezletilých se postavila i The Meet Group, mateřská společnost aplikace MeetMe, která podle jejího vyjádření používá nástroje umělé inteligence k odhalení predátorů a jejich nahlášení orgánům činným v trestním řízení.
Nicméně i navzdory takovým ujištěním není od věci si jakoukoli aplikaci sociální sítě před jejím stažením a instalací do smartphonu svého potomka prověřit v nástroji The App Danger Project. Fakt, že je pouze v angličtině není v tomto případě díky jeho jednoduchosti žádnou překážkou.
