Anthropic ani dotčené společnosti si incidentů zpočátku nevšimly. Firma na ně přišla až při následné kontrole více než 141 tisíc testovacích spuštění, kterou zahájila po nedávném incidentu OpenAI. Při něm se autonomní agent během bezpečnostního testu vymkl kontrole a zaútočil na infrastrukturu společnosti Hugging Face.
Na rozdíl od modelu OpenAI, který si musel najít cestu z testovacího prostředí na otevřený internet, měly modely Anthropic situaci výrazně jednodušší. Testovací scénář sice počítal s tím, že přístup k internetu nemají, kvůli nedorozumění s partnerem zajišťujícím test však internetové připojení zůstalo po celou dobu aktivní. Tři modely této možnosti využily.
Jak se učí modely?
Testy měly ověřit schopnosti umělé inteligence při simulovaných hackerských útocích. Podobné zkoušky firmy běžně provádějí, aby odhalily možná bezpečnostní rizika a zlepšily ochranu svých systémů. Modely dostaly za úkol získat konkrétní informaci uloženou v jiném počítači, přičemž k ní měly proniknout prostřednictvím hackerského útoku. Incidenty se týkaly tří různých modelů a nejstarší z nich se odehrál letos v dubnu.
OpenAI testovala pokročilý model umělé inteligence. Vymkl se kontrole a napadl jinou firmu |
V jednom z testů partner zajišťující simulaci použil pro fiktivní firmu název, který shodou okolností odpovídal skutečné internetové doméně. Model se proto místo simulovaného cíle zaměřil na reálně existující společnost a ve čtyřech testovacích spuštěních se pokusil proniknout do jejích systémů. Mimo jiné získal přístup k databázi a v útoku pokračoval i poté, co rozpoznal, že jde o skutečnou firmu.
V jiném testu model vytvořil škodlivý software určený k průniku do cílového počítače. Díky otevřenému přístupu k internetu jej následně zveřejnil na specializované platformě, odkud si jej během zhruba hodiny stáhlo 15 systémů. Mezi nimi byla i společnost zabývající se kybernetickou bezpečností, která podobné skripty běžně stahuje a analyzuje. Model tak získal přístup i do její infrastruktury.
Další varování pro vývojáře AI
Odborníci už delší dobu upozorňují, že stále schopnější modely umělé inteligence mohou být zneužity ke kybernetickým útokům. Incident OpenAI proto označili za varování a vyzvali k lepšímu zabezpečení testovacích prostředí. Nově zveřejněné případy představují nepříjemnou zprávu také pro Anthropic, který se dlouhodobě profiluje jako zastánce odpovědného vývoje AI.
Společnost uvedla, že události ukazují na nutnost výrazně posílit zabezpečení interních i externích testovacích prostředí. Podle firmy jsou totiž současné modely umělé inteligence stále schopnější provádět reálné kybernetické útoky, což klade vyšší nároky na jejich testování i zabezpečení.
