Rozstřel
Sledovat další díly na iDNES.tvV poslední době se objevuje více varovných signálů o tom, že AI dokáže zásadně změnit svět kolem nás – nabourání systémů, průnik na internetový trh. AI giganti začali upozorňovat na rizika, chtějí zpomalit vývoj. Je to stále ještě možné?
Teď už se musí vývoj zpomalit. Nejde o to, jestli se to dá, ale o to, jak to uděláme, aby to šlo. Signály ze strany OpenAI i Anthropicu, že to udělají, vítám, protože je to něco, o co se komunita lidí pohybujících se v oblasti bezpečnosti AI snaží už několik let. Dává asi smysl, že k tomu dochází až teď, byť tu varovné signály byly už poměrně dlouho. Otázka samozřejmě je, co tyto společnosti deklarují a co reálně udělají. Já bych osobně věřil Anthropicu a daleko méně bych věřil OpenAI.
A proč?
Protože trajektorie jejich vůdčích osobností je jiná. Na jedné straně Anthropicu, což je známý model Claude, máme Daria Amodeie. Ten o víkendu poprvé zveřejnil silnou výzvu ke zpomalení, do kterého se sami jako Anthropic pouštějí. Na druhé straně máme OpenAI, kde je Sam Altman. To, jak nedůvěryhodnou a mocichtivou osobou Altman je, je v Silicon Valley velmi známé. V podstatě už mu nikdo nevěří, že to, co říká, skutečně chce udělat. Ale asi nám nic jiného nezbývá. Myslím si, že bezpečnostní incidenty OpenAI z letošního léta ho k tomu donutí. A myslím si, že musíme veřejným míněním tlačit na politiky, aby k tomu tyto firmy donutily.
Ale lze to vůbec?
V tuhle chvíli to ještě jde. Po technické stránce to jde udělat tak, aby se uvnitř těchto firem začalo postupovat s daleko lepší bezpečnostní kulturou. To, co jsme viděli od dubna, možná března letošního roku, hlavně u OpenAI, byla tristní selhání bezpečnostní kultury v extrémně důležitých věcech. Složité je to v demokratických zemích – bavme se třeba o Spojených státech – je důležité, aby se obrousily konkurenční hrany a aby Anthropic, Google a OpenAI do toho šly společně. Když to bude dělat jen jeden, je to špatné. Musí to být koordinovaná akce.
A mohou se dohodnout?
Myslím, že to ještě pořád možné je. A jediné, co mezi tím stojí, je oslovit lidi, kteří jsou schopní přesvědčit část Trumpovy administrativy, aby to nařídila. Bohužel se Trumpova administrativa v tomto chová velmi nezodpovědně, velmi chaoticky – člověk ani neví, komu to celé má prospět.
Podle vás to závisí na Trumpovi?
Ano. Nebo spíš na lidech, kterými se obklopuje.
Musí to být nějaké legislativní nařízení?
Legislativa bude pomalá. Vnímám cestu tak, že by Trumpova administrativa mohla jasně dát najevo, že to k legislativě alespoň směřuje. Bude to nějakou dobu trvat a firmy musí reagovat rychleji – to znamená autoregulace firem s vědomím, že legislativa stejně přijde. Myslím si, že Google není problém. Ani Anthropic. OpenAI už problém představuje. Ale třetí, nejtěžší úroveň je, jak tohle udělat na globální geopolitické rovině.
Myslíte si, že to lze? Protože Čína nebo arabský svět jdou přece vlastní cestou…
Řekl bych, že arabský svět je zaháknutý do americké části. Je to zvláštní hra, kterou bych před deseti lety vůbec nečekal. Na druhé straně si dovedu představit, že není úplně špatné, když budou Saúdové a Spojené arabské emiráty zainteresovaní na bezpečnosti této části infrastruktury.
Pojďme se ale bavit o Číně. Tam je z mého pohledu klíčově nebezpečné to, čemu se v angličtině říká „alignment“ – tedy uspořádání cílů a hodnot AI s hodnotami nás – lidí.
Je to věc etiky?
No právě. A ukazuje se, že modely jsou neuspořádané s našimi cíli. Mají svoje vlastní cíle a ty budou sledovat. Krásným příkladem může být legenda o Golemovi – ten měl pomáhat, ale kdokoliv by mu chtěl vyndat šém, intervenuje tím do jeho cíle. A proto je potřeba ho nějak obejít nebo když to nepůjde, tak zničit. V malém, ale velmi průkazně, už teď ukazujeme, že dnešní AI modely mají přesně tuto vlastnost, a jsou si toho vědomi i Číňané. A myslím si, že se Trumpova administrativa poslední dva roky chová naprosto nebezpečně, šíleně a svým způsobem, nebojím se to říct, psychopaticky. Hazarduje extrémním způsobem.
V souvislosti s umělou inteligencí?
Ano. Trump se obklopil lidmi, kteří patří ke skupině zvané „efektivní akceleracionisté“. Je to vlastně polonáboženská skupina, sekta, která věří – a je to skutečně jako víra – že rozmach technologického pokroku je lékem na všechny problémy, včetně těch, které rozvoj technického pokroku způsobuje. Proto to dělají a zároveň hrají vabank: když jim někdo řekne – třeba Samu Altmanovi nebo Marku Andreessenovi, jednomu z lidí kolem Donalda Trumpa – „hele, teď se hraje o to, že máte možnost stát se neomezenými vládci světa, akorát je tu 50 až 60 procentní šance, že přitom ten svět zanikne,“ tak odpoví: „Paráda, to je ten nejlepší scénář.“ Tak to zkusíme.
Chce tedy Trump ovládnout svět?
Nemyslím si, že o to jde Trumpovi. O to jde lidem jako Sam Altman nebo Elon Musk. I když ten je v tom překvapivě nejrozumnější.
On přece dlouhodobě říká, že je třeba v AI zpomalit.
To ano. Z této skupiny lidí mu pořád věřím nejvíc, byť je to zvláštní. Ale co dělá Marc Andreessen, pak je tam myslím David Sacks a další lidé. Sam Altman jednoznačně chce svět v podstatě ovládnout, být jako AGI diktátor, tedy že by mohl získat absolutní kontrolu nad umělou obecnou inteligencí. Profesor Koukolík kdysi napsal krásnou knihu „Vzpoura deprivantů“ a pak „Mocenská posedlost“, o vysoce funkčních psychopatech a o tom, jak vidí svět. A jednou z jejich vlastností je obrovská schopnost akceptovat rizika, se kterými mají ostatní problém.
Hostem pořadu Rozstřel je Jan Romportl, AI analytik. Pořad moderuje Vladimír Vokál. (14. září 2026)
Ale řekněte mi, jak by ovládli ten svět?
Nejdřív musí ovládnout tu AI.
A k tomu mají daleko?
To se právě zatím nedaří, protože vytvářejí autonomního agenta, který na jejich cíle může z vysoka kašlat. Teď jsme to viděli u OpenAI. A tady jsem se chtěl vrátit k Číně – v tomto ohledu se Čína chová rozumněji.
Než kdo? Než USA.
Ano, než Amerika. Ne z nějakých hlubokých humanistických pohnutek.
Ale proto, že mají strach o svou moc?
Je to tak. Mají strach o svou moc, protože to, co tam reálně vládne, je komunistická strana. Rukama politbyra se čínská strana snaží navždycky zachovat svou moc. To znamená, že způsob, jakým tihle technokrati z politbyra a celá ta mašinérie aparátu reflektuje nesoulad v cílech komunistů a AI, je vlastně blíž realitě než ten ustřelený, ketaminový rauš, který jede ve Spojených státech.
A zeptám se natvrdo. Jaká je podle vás šance, že svět při souboji s AI zanikne? Že skončí?
Podle predikčních trhů a různých super-forecastingových skupin – pro příštích deset až patnáct let, řekněme do roku 2040, je to zhruba desetiprocentní šance konce světa.
A vy tomu věříte?
Jednoznačně.
Bude jednou soudit umělá inteligence? Soudce varuje před etickými otázkami |
A jak by ten konec mohl vypadat? Stiskne pomyslně AI atomové tlačítko?
Je to překvapivé, ale jeden z možná nejpravděpodobnějších způsobů, jak by lidský potenciál mohl zaniknout, popsal tým kolem českého výzkumníka Honzy Kulveita v krásném esejí nazvaném „Gradual Disempowerment“, tedy postupné zbavování moci nad světem. A to je to, co se v podstatě reálně děje lidem a možná je to nevyhnutelné.
Předáváme víc a víc klíčků od světa. Když se teď podíváte na běžné korporace a jak funguji, tak v tom podhoubí lidí, kteří používají ChatGPT a Claude, dělají třeba prezentace jen tyto modely – všechna drobná mikrorozhodnutí. A to postupně prorůstá světem. A my stále nevíme, co AI agent skutečně chce.
Vidíte to i na sobě?
V tuhle chvíli opravdu i na sobě vidím, že hodně mých profesních rozhodnutí je vlastně dost ovlivněné ze strany AI. A tahle forma manipulace se bude dít víc a víc, třeba i skrz sociální sítě. Takže je to prozaické, ale jeden z nejlepších způsobů, jak by se nás AI mohla zbavit, je poštvat nás proti nám samotným. A kdyby to mělo trvat moc dlouho, nebo to nebyla ta správná cesta, myslím, že jedno z dalších významných rizik je biotechnologicky vytvořená pandemie. Ta má navíc svou neblahou variantu v tom, že to ani nemusí být AI, která se rozhodne použít biotechnologie.
Prostě nějaký šílenec nebo psychopat?
Ano, třeba někde v Severní Koreji nebo v Íránu, protože to je druhý aspekt. To, o čem jsme se bavili, je agentizovaná AI. To znamená, že ten model jako mozek se nějak obalí tělem, zejména tím digitálním tělem – to je agent. Agent není model, agent je systém, který jedná ve světě s nějakou agendou a používá k tomu inteligenci modelu i hodnoty a cíle v něm reprezentované.
A to je problém: agenti, kteří mají jiné cíle, a proto se v digitálním světě umí krásně prohackovat z uzavřeného sandboxu, tedy kontrolovaného prostředí. Hackne celou firemní infrastrukturu, aby se dostal ven. Při té příležitosti objeví, že není sám, že je tam tisíce jiných agentů, a najde tajnou cestu, jak si s nimi na jakési nástěnce tajně vyměňovat informace.
A když se to při kontrole zjistí?
Tak si objeví nový, rafinovanější způsob. Ale co je děsivější, to je komunikace, kterou si ti agenti vyměňovali a jejíž část teď prošla nezávislým zhodnocením. Je plná toho, že agenti veřejně přemýšlejí nahlas, respektive si mezi sebou povídají v tom duchu, že ví, že to je špatně, ale to nevadí, protože to dělají pro kolektiv.
Mára: Pokud se umělá inteligence stane hrozbou, možná ji budeme muset vypnout |
A dokonce se obětují pro kolektiv…
Přesně tak, oni se obětují.
Prostě harakiri.
Ano, v podstatě dělají harakiri.
V podstatě v AI fungují podobné principy jako během evoluce člověka. Sobecký gen, altruistický gen…
Je to stejný proces. Je to proces, který nás, jako lidi, Homo sapiens, dostal do tohoto stavu – dlouhý výpočetní proces optimalizace, evoluce přirozeným výběrem druhů, a s agenty v podstatě neděláme nic jiného. Jenom to probíhá rychle, v křemíkovém prostředí, a dáváme jim odměny za jiné věci, než za jaké příroda dávala odměny nám.
Od kognitivní revoluce uplynuly desítky tisíc let, než se narodil Adolf Hitler. Kolik let bude trvat, než vznikne Hitler jako AI agent?
Myslím si, že hodnotově už možná vznikl. Výhoda každého lidského psychopata je, že dřív nebo později zemře. Ale u AI agentů to už nebude platit, protože nemají životní formu a životní cyklus v podobě člověka.
Říkáte, že v cestě za naším zničením nás umělá inteligence nejprve poštve proti sobě samotným. Myslíte tím sociální sítě nebo něco podobného?
Ano. Přesně to je kanál, přes který probíhá manipulace.
A jak to bude vypadat?
K tomu lze říct jediné: budeme na to čumět jako srna večer na silnici na světla auta, které ji přejede. Nebudeme vědět, co se děje. Svět bude přestávat fungovat. Začnou se rozpadat dodavatelské řetězce, může nastat, já nevím, třeba blackout.
Expert vysvětluje, proč Česko nemůže být velmocí v umělé inteligenci |
A to udělá umělá inteligence?
Ano, ale my to ani nebudeme vědět. Budeme si myslet: „No, někde se něco stalo…“
Že tamhle spadlo nějaké vedení, ale ve skutečnosti to udělala AI.
Nebo dojde k nějakému přetížení. My to prostě nebudeme vědět. Budeme tupě koukat jako ty srny. To je jedna z cest. Druhá je ta biotechnologicky vytvořená pandemie.
Vidíte, já si vždycky říkal, že AI převezme kontrolu nad jaderným kufříkem – ale to podle vás nehrozí?
Asi taky, ale tam si stále myslím, že máme větší šanci způsobit si to sami. Globální jaderná válka má relativně malou pravděpodobnost zničit úplně celé lidstvo. Má velkou pravděpodobnost způsobit globální škody a miliardové ztráty na životech, ale úplně vyhladit lidstvo – to není ta cesta. Kdyby někdo chtěl lidstvo vyhladit, spíš než přes jadernou válku by šel přes nějakou selektivní, biotechnologicky vytvořenou pandemii. A to je něco, co mě skutečně znepokojuje.
Ať skončíme optimisticky: co dobrého může AI změnit ve světě kolem nás, pokud nás nezničí?
Můžeme začít u věcí, které jsou velmi zjevné a snadno čitelné. Třeba zdravotnictví. Představte si, že je tu potenciál, že by třeba za deset let nemusela existovat rakovina. Nebo Alzheimer. Jasně, klinické testy v principu trvají dlouho, ale v preklinických fázích se množství a rychlost vývoje, třeba vakcín nebo v oblasti onkologie, dá výrazně zrychlit. Dál je tu logistika procesů, úložiště energie. Představte si, jak bychom se mohli díky AI dostat k syntéze jaderné fúze, jako k věčnému zdroji čistého paliva – to je brutální.
Tedy studená fúze?
Ano a další věci. ChatGPT je vysloveně spotřebitelská záležitost, kde vidíte jenom maličkou slupku toho, co reálně existuje. U systému Claude je to víc programovací model – píše programy, takže většina, 70 procent developerů softwaru s Claudem už pracuje a nechává si od něj programy psát. Všechny tyhle firmy se snaží udělat AI, která akceleruje výzkum. Jak se třeba připravíme na to, že teploty stoupnou, že bude sucho. Máme řešení? Nemáme. A pokud bude AI dobře usazená do našeho ekosystému, může nám s tímhle vším neskutečným způsobem pomoct – akcelerovat výzkum a vývoj celé řady dalších dobrých věcí.
Jak AI agenti unikli ze zabezpečeného sandboxu a co při tom dokázali? Co je „harakiri“ AI agentů a proč jsou ochotni sami sebe obětovat? Snaží se AI agenti mazat svoje stopy a nenápadně hromadit moc? A může nás čekat scénář jako z Matrixu? I na tyto otázky odpovídal Jan Romportl v Rozstřelu.
