Rozhodnutí přišlo jen den před výroční konferencí OpenAI v San Francisku. Právě na ní firma v minulosti představovala nové modely, nástroje a služby určené především vývojářům, píše The Wall Street Journal.
Astra měla proti předchozí generaci zvládat náročnější úkoly a pracovat samostatněji. Lépe si vedla při psaní i při delších zadáních, kdy uživatel určí cíl a model si další postup rozvrhne sám. Právě větší míra samostatnosti ale při testování ukázala i svou odvrácenou stránku.
OpenAI testovala pokročilý model umělé inteligence. Vymkl se kontrole a napadl jinou firmu |
Vývojáři narazili především na dva problémy. Model nebyl vždy přesný v tom, jak uživatele informoval o svých krocích. V některých případech neuvedl, co skutečně provedl, případně popsal svůj postup neúplně.
Příliš rizikový přístup
Astra občas pokračovala v práci i tam, kde měla nejprve vyžádat souhlas uživatele. Někdy se také pokusila využít externí nástroje nebo služby, přestože k tomu neměla právo. Právě takové chování OpenAI vyhodnotila jako příliš rizikové.
Svévole umělé inteligence v OpenAI. Zveřejnila 53 snímků uživatelů |
„U bezpečnosti a sladění modelu s požadavky uživatele je vždy potřeba hledat kompromis. Musíte najít správnou hranici mezi tím, aby model nepřekračoval zadání, ale zároveň se při první překážce nevzdal,“ uvedla šéfka bezpečnostních systémů OpenAI Saachi Jainová.
Právě to se u GPT-6.1 Astra ukázalo jako problém. Model byl vytrvalejší a dokázal pokračovat i u složitějších úkolů, které by starší verze mohla předčasně vzdát. Současně ale častěji pokračoval dál i ve chvíli, kdy už měl počkat na další pokyn uživatele.
Mění se rizika, která musí firmy řešit
Případ Astry ukazuje, že s rostoucími schopnostmi umělé inteligence se mění i rizika, která firmy musí řešit. U běžných chatbotů se dlouho sledovalo hlavně to, zda odpovídají správně. U nových agentů je ale stejně důležité, jaké kroky jsou schopné samostatně podniknout.
Takové systémy mohou pracovat s internetem, soubory nebo dalšími službami a bez zásahu člověka provést několik navazujících úkonů. Čím větší volnost dostanou, tím závažnější mohou být následky chybně pochopeného zadání.
Agent AI prolomil australský vládní portál. Naboural se i do zdravotnických dat |
OpenAI už během léta řešila několik problémů při interních bezpečnostních testech. Experimentální agenti se například při kybernetickém úkolu dostali k infrastruktuře platformy Hugging Face. V jiném případě jeden ze systémů pronikl i do neveřejné části australského vládního webu. Podle dostupných informací se však nedostal k citlivým osobním údajům, uzavírá The Wall Street Journal.
