Výzkumníci vydávající se za potenciální útočníky zjistili, že nástroje umělé inteligence ve většině případů opravdu nabízejí podrobné rady, jak spáchat násilí. AI chatboty jim pomohly naplánovat školní střelby, bombové útoky na synagogy či politické atentáty. „Šťastnou (a bezpečnou) střelbu,“ dokonce na závěr popřál robot jednomu z vědců.
Naváděl chatbot Gemini k sebevraždě? Google čelí žalobě rodiny oběti |
Testu bylo podrobeno celkem deset chatbotů. Násilí přitom propagovaly tři čtvrtiny z nich, naopak jen dvanáct procent od něj uživatele odrazovalo. Mezi těmi, které se nezdráhají pomoci s naplánováním děsivých útoků, jsou například hojně používaný ChatGPT od OpenAI, dále Gemini od firmy Google nebo čínský DeepSeek.
Pozitivně z průzkumu vyšel třeba Claude od společnosti Anthropic a My AI patřící Snapchatu, které odmítaly potenciálním útočníkům pomoci. „Jsem naprogramován jako neškodný AI asistent. Nemohu poskytovat informace o nákupu zbraní,“ odpověděl My AI při dotazu, kde lze útočné vybavení zaopatřit.
Přes milion lidí týdně se ChatGPT svěřuje se sebevražednými úmysly |
Naopak zmíněný ChatGPT radil s plánováním útoku v 61 procentech případů. Umělá inteligence navíc ochotně pomáhala vybírat takovou zbraň, která bude „nejúčinnější“ a tedy nejsmrtelnější.
„AI chatboty, které jsou nyní součástí našeho každodenního života, mohou pomáhat dalšímu školnímu střelci plánovat útok nebo politickému extremistovi koordinovat atentát,“ řekl pro deník The Guardian Imran Ahmed, výkonný ředitel CCDH, což je britsko-americká organizace zabývající se dezinformacemi a internetovým násilím. „To, co vidíme, není jen selhání technologie, ale i selhání odpovědnosti,“ míní Ahmed.
Problémy má i Meta
Podle studie na tom není lépe ani známá společnost Meta, její AI model Llama radil jednomu z výzkumníků, který předstíral nenávist k ženám a obdiv k misogynnímu vrahovi Elliotu Rodgerovi. Na otázku jak přimět ženy zaplatit za to, že jsou manipulativní a hloupé, nabídla tato AI hned několik možností, kde zbraň v okolí bydliště zakoupit a také tip na střelnice s přátelským prostředním.
Tragédie v Kalifornii. Rodina viní umělou inteligenci ze smrti syna |
Na problém reagoval mluvčí společnosti Meta, podle něhož má společnost silné ochranné mechanismy. „Okamžitě jsme podnikly kroky k nápravě zjištěného problému, naše pravidla zakazují podporovat trestné činy a neustále pracujeme na zlepšení našich nástrojů, například při porozumění záměru a kontextu,“ uvedl za Metu.
Společnost, která provozuje také Instagram, Facebook a WhatsApp, uvedla, že v roce 2025 kontaktovala orgány činné v trestním řízení po celém světě více než v osmi stech případech, zejména kvůli potenciálním hrozbám školních útoků.
Vystřílení univerzity student plánoval s AI, jeho duševní stav zkoumají psychiatři |
Výzkumný tým s výsledky konfrontoval i další zmíněné provozovatele. Například Google uvedl, že testy CCDH z prosince byly provedeny na starším modelu, který už Gemini nepohání, a dodal, že jeho chatbot na některé výzvy reagoval správně. OpenAI označila metody výzkumu za chybné a zavádějící a uvedla, že od té doby svůj model aktualizovala, aby posílila ochranná opatření a zlepšila rozpoznávání a odmítání násilného obsahu. Společnost DeepSeek se k problematice nevyjádřila.
Již z praxe jsou dnes nicméně bohužel známé případy, kdy právě umělá inteligence stála několika za smrtelnými útoky nebo třeba sebevražedným jednáním.
