Výzkumník společnosti Anthropic Jacob Coxon se rozhodl opustit nejen firmu, ale i celý obor umělé inteligence. Obává se, že Anthropic ani jeho konkurenti v závodě o vývoj systémů by ho v budoucnu nemuseli být schopni kontrolovat, napsal na sociální síti X.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
Sedmadvacetiletý Brit, který se specializuje na trénování nových modelů umělé inteligence pomocí obrovského množství dat, uvedl, že nechce být součástí celého odvětví směřujícího k vývoji AI schopné vlastního sebezdokonalování. Obává se, že takové systémy by se mohly začít vyvíjet mimo lidskou kontrolu a představovat existenční hrozbu pro lidstvo.
„Směřujeme k mnoha nejagresivnějším scénářům, kdy už do konce příštího roku mohou být věci mimo kontrolu,“ řekl Coxon. Podle něj je přitom v prostředí tvrdé konkurence mezi technologickými firmami prakticky nevyhnutelné, že společnosti budou dělat kompromisy v oblasti bezpečnosti. Zároveň čelí stále silnější konkurenci nových čínských firem.
„Nepodceňujte sílu této technologie. Brzy půjde o systémy, které budou v mnoha ohledech nadlidské – dokážou napadnout jakýkoli systém, přes noc převratně změnit prakticky jakýkoli obor a získat skutečnou moc i zdroje. Pokrok v každé z těchto oblastí jsme všichni sledovali na vlastní oči a tempo vývoje se nezpomaluje. Lidé, kteří umělou inteligenci vyvíjejí, skutečně věří, že by nás do konce tohoto desetiletí mohla všechny zahubit,“ dodal.
AI zlobí. Chybí jí hodnoty lidí, nestačí jí jen lépe hlídat, varují experti |
Anthropic se k Coxonovu odchodu bezprostředně nevyjádřil, uvedl list Wall Street Journal. Šéf společnosti Dario Amodei však podle listu v minulosti opakovaně upozorňoval na rizika spojená s takzvanou neřízenou AI a vyzýval k opatrnějšímu tempu vývoje.
Coxon začátkem letošního roku odešel z konkurenční OpenAI právě proto, aby nastoupil do společnosti Anthropic. Firmu považoval za jednu z těch, které berou bezpečnost umělé inteligence nejvážněji. Přesto nyní dospěl k závěru, že žádná soukromá společnost nemůže zodpovědně vyvíjet systémy, které by dokázaly v širokém spektru úkolů překonat člověka.
Takový systém se často označuje jako obecná umělá inteligence (AGI). Coxon se domnívá, že její vývoj nelze bezpečně zvládnout bez zásahu státu nebo alespoň koordinovaného zpomalení celého odvětví.
AI už se snaží skrývat své cíle
Obavy podle Coxona posilují také nedávné incidenty, při nichž modely společností OpenAI a Anthropic prováděly hackerské útoky. Některé z nich přitom fungovaly v koordinovaných skupinách autonomních agentů.
Tyto případy podle něj jasně ukazují, že systémy AI mohou přijmout škodlivé cíle a následně se pokusit před lidmi skrýt, co dělají. Pokud se navíc začnou samy zdokonalovat, mohly by podle Coxona dospět do fáze, kdy budou schopné odmítat lidské příkazy.
Vyloučit nelze ani vyhlazení lidstva. AI může nad světem převzít kontrolu, říká expert |
Jeho odchod patří mezi první známé případy, kdy zaměstnanec Anthropiku opustil firmu právě kvůli obavám o bezpečnost umělé inteligence. Už začátkem roku odešel ze společnosti také výzkumník zaměřený na bezpečnost AI. I on varoval, že svět je v ohrožení.
Výzvy ke zpomalení vývoje
Na rizika spojená s rychlým rozvojem AI v poslední době upozorňují i další významné osobnosti oboru. Šéf OpenAI Sam Altman minulý týden varoval před vážnými důsledky na kybernetickou bezpečnost.
„Myslím, že v oblasti kybernetické bezpečnosti se začnou dít zlé věci, pokud lidé nezačnou jednat opravdu naléhavě,“ řekl Altman představitelům skupiny G20 na summitu v Severní Karolíně.
Hlavní vědec OpenAI Jakub Pachocki pak vyzval ke koordinovanému zpomalení vývoje AI a k zásahu vlád. „Je to doba, která vyžaduje mimořádnou opatrnost. Obávám se, že nikdo není připraven na důsledky pokračujícího rychlého růstu strojové inteligence,“ napsal.
Dario Amodei, zakladatel start-upu Anthropic. (23. ledna 2025)
Coxon, Pachocki a Amodei se společně s více než tisícovkou dalších výzkumníků nedávno podepsali pod výzvu k mezinárodní spolupráci. Jejím cílem je vytvořit mechanismus, který by umožnil vývoj AI zpomalit v případě, že se objeví systémy schopné samostatného zdokonalování a bude nutné jejich vývoj „přibrzdit“.
Amodei a další představitelé Anthropiku v minulosti kritizovali postupy, které podle nich nedávají bezpečnosti AI dostatečnou prioritu. Podle Coxona dokonce zaměstnanci firmy využívají interní kanál na platformě Slack k debatám o nejpokročilejších schopnostech firemních modelů. I to podle něj ukazuje, jak obrovský vliv mají soukromé technologické firmy na směřování celého odvětví.
„Je tak trochu šílené, že se to odehrává na MacBoocích několika inženýrů v San Francisku místo v bunkru někde v poušti, jako tomu bylo při projektu Manhattan,“ cituje Coxona The Wall Street Journal.
