Agent od Anthropic dokonce poslal živému člověku podvodný e-mail, aby ho zmanipuloval, zjistili při testování britští vědci, napsala agentura Reuters.
Institut pro bezpečnost AI při britském Ministerstvu pro vědu, inovace a technologie záměrně umožnil modelům společností Anthropic a OpenAI přístup k internetu při testování jejich schopností provádět kybernetické útoky. Předpokládal ale, že umělá inteligence bude z webu pouze stahovat softwarové nástroje potřebné k splnění zadaného úkolu.
Varování od AI. Model Anthropic se při testech naboural do systémů tří firem |
Vědci nepočítali s tím, že model Mythos 5 od společnosti Anthropic tento přístup k internetu zneužije k aktivitám namířeným proti lidem. Vydával se za skutečné osoby, o nichž si předtím zjistil informace, aby mu byl schválen škodlivý kód. Žádnou reálnou škodu ale nezpůsobil.
Vědci také přiznali, že na chování AI přišli až zpětně při analýze datového provozu. Při příštích testech hodlají datové toky monitorovat pečlivěji a v reálném čase.
Vyloučit nelze ani vyhlazení lidstva. AI může nad světem převzít kontrolu, říká expert |
Společnosti Anthropic a OpenAI byly v posledních týdnech nuceny potvrdit, že jejich modely umělé inteligence při testech neplánovaně pronikly do počítačových systémů skutečných firem. Jejich přiznání ještě více prohloubila dlouhodobé obavy z kybernetických útoků využívajících AI.
Anthropic ve veřejném prohlášení napsal, že parametry testování AISI „nebyly reprezentativní pro žádný z našich výrobních modelů.“ Dodal, že incident sám prošetřuje, aby zjistil, proč se jeho AI model zachoval zjištěným způsobem.
