O tom, že umělá inteligence zásadně ovlivní bezpečnost a kyberbezpečnost, se mluví dlouho. A pokud společnost Anthropic nepřehání – bod zlomu právě nastal. Zatímco ještě předchozí model Opus 4.6 byl výborný k nalezení a opravě softwarových zranitelností, měl jen minimální úspěšnost v autonomním vývoji exploitů – tedy způsobů, jak zranitelností využít. Jenže s Mythos (oficiálně Mythos Preview, protože ještě nebyl uvolněn) je to prý úplně jiné: tyto exploity dokáže nalézt a zneužít v šokujícím množství případů.
Dokonce prý umí zkombinovat vlastnosti několika drobnějších zranitelností, které samy o sobě nepředstavují zásadnější riziko, ale v součtu je lze ke kompromitaci systému využít.
27 let stará „díra“
Během testů Mythos Preview našel využitelné zranitelnosti například v systémech OpenBSD a FreeBSD, které jsou považovány za extrémně bezpečné. Jedna z chyb přitom v systému existovala – aniž by si toho někdo během tisíců testů a analýz všiml – sedmadvacet let.
Seznam nalezených chyb a zranitelností má tisíce položek, mnohé jsou zajímavé tím, že bez povšimnutí existují velmi dlouho, a přesto unikaly všem dosavadním testům. Koho zajímají technické podrobnosti, může se podívat na technický blog Anthropicu.
Dokud není zranitelnost objevena, nepředstavuje problém – a zatím (s trochou zjednodušení) platilo, že nalezení a zneužití neobjevené zranitelnosti bývá dílo dobře zaplacených, motivovaných a vybavených expertů.
Jenže v případě AI modelů zatím platila technologická demokratizace – v podstatě každý si mohl předplatit a používat stejné modely, ať to byl technologický gigant, nebo pověstný Franta z Horní Dolní. A najednou by i tento Franta měl v ruce nástroj, který dokáže autonomně najít a zneužít bezpečností díry. A stejně tak by jej měli k dispozici oni dobře placení nebo motivovaní „padouši“, jen by objevení zranitelnosti a nalezení způsobu jejich zneužití netrvalo dny-týdny-měsíce, ale minuty.
A okno, které by měli tvůrci softwaru na opravu a bezpečnostní firmy na detekci, by bylo extrémně malé. Leckdy v podstatě neexistující.
Projekt Glasswing
Společnost Anthropic se zatím zachovala jako kladný hrdina příběhu.
Introducing Project Glasswing: an urgent initiative to help secure the world’s most critical software.
It’s powered by our newest frontier model, Claude Mythos Preview, which can find software vulnerabilities better than all but the most skilled humans.
https://t.co/NQ7IfEtYk7
Model Claude Mythos zatím pro veřejné použití neuvolnila a naopak zorganizovala takzvaný „Projekt Glasswing“, což je sdružení zhruba padesáti technologických gigantů – například: Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, Microsoft, Nvidia... – pro které Anthropic model Claude Mythos Preview uvolnil a jako dárek na uvítanou vyčlenil „tokeny“ v hodnotě 100 milionů dolarů. Tyto firmy tak mají časový náskok opravit své systémy dřív, než se k nim dostane pomocí nějakého AI modelu někdo jiný.
Cílem je vytvořit tak bezpečný software, že jej nově vznikající AI nástroje nebudou moci ohrozit.
Spousta neznámých
Ne všechno však musí být tak nablýskané, jak Anthropic tvrdí.
As someone who has audited dozens of safety-critical systems, built static analysis tools, and used most formal verification and security tools, here are some red flags that should be a caution in taking these claims at face value:
1. There are no comparison benchmarks with 1/ https://t.co/RgqN2FBRKy
Například Heidi Khlaavová, vedoucí vědkyně pro umělou inteligenci na britském institutu AI Now upozorňuje, že Anthropic nezveřejnil míru falešně pozitivních nálezů, nehovoří o účinnosti nálezů – nalezení i reálné chyby ještě nemusí v konkrétním kontextu znamenat skutečnou zranitelnost – a obecně se ve svých tvrzeních vyhnul informacím, které by mohly objasnit jejich skutečnou váhu.
Zajímavé postřehy na svém blogu sepsal produktový šéf společnosti Clover, Shawn Cady. Podle něj tímto končí dříve samozřejmá demokratičnost ve využití AI nástrojů. Glasswing považuje za určitou „ligu vyvolených“, kteří budou mít možnost své produkty opravit a zabezpečit přednostně, což jim dá konkurenční výhodu. Zároveň přístup k novému modelu bude dražší než u těch předchozích, a proto se podle Cadyho rozevřou nůžky mezi společnostmi, které si bezpečnostní testy nejnovějšími verzemi AI modelů budou moci dovolit a těmi, které ne.
Konkurenční Open AI a Meta součástí projektu Glasswing nejsou.
