Premium

Mimořádně jen 19 Kč/měsíc
na prvních 5 měsíců

Největší problém umělé inteligence: nelze zjistit, „proč“ se rozhodla

Technický ředitel společnosti Fujitsu, Dr. Joseph Reger

Technický ředitel společnosti Fujitsu, Dr. Joseph Reger | foto: Fujitsu

Umělá inteligence a strojové učení jsou budoucností průmyslu. Přináší však s sebou problémy, které zatím v oblasti počítačových systémů nebylo potřeba řešit.

Umělá inteligence a strojové učení byly vždy tak trochu sci-fi. Zejména proto, že jsme neměli k dispozici dostatečně efektivní a výkonné procesory, které by složité procesy umělých neuronových sítí dokázaly v reálném čase zpracovávat.

To se nyní mění. Vznikají procesory i celé výpočetní jednotky optimalizované přímo pro strojové učení a umělou inteligenci. Kupříkladu Fujitsu letos představilo procesor DLU (Deep Learning Unit), Nvidia pak loni „stolní superpočítač“ DGX-1 a letos  „system on chip“ Xavier, které mají na tyto úlohy dostatek výkonu a zároveň rozumně nízkou spotřebu energie.

Dostáváme se tak do momentu, kdy největším problémem technologie nebude samotná technika, ale problémy spíše humanitního charakteru. O tom, co se nyní kolem umělé inteligence děje, jsme si krátce povídali s doktorem Josephem Regerem, technickým ředitelem společnosti Fujitsu.

Zatímco dříve se v souvislosti s umělou inteligenci zpravidla mluvilo o překážkách v podobě nedostatku výpočetního výkonu nebo operační paměti, nyní se hovoří spíše o překážkách etického rázu. Můžete nám přiblížit, v čem spočívají?
S umělou inteligencí jsme přesně v té situaci, kdy lze velice snadno definovat problém a zároveň je velmi obtížné přijít s jeho řešením. Jeden z těžko řešitelných problémů se týká strojového učení, což je podstatná součást systémů umělé inteligence.

Problém je, že nikdy nevíte, na základě čeho se systém něco naučil, a na čem jsou tedy jeho rozhodnutí založena. Celá ta matematika okolo je taková, že nikdo nemůže udělat forenzní rozbor - systém nelze otevřít, prohlédnout si jej a zjistit, na základě čeho se v konkrétním případě rozhodl.

Systém umělé inteligence je vlastně umělá neuronová síť, je to vlastně hrubý model fungování našeho mozku. Můžeme si ji představit jako velkou množinu mozkových buněk a obří množinu jejich vzájemných propojení, tedy synapsí.

Čtěte více

Výsledkem učení je obrovské množství spojení „neuronů“ s různou intenzitou a jsou to jen čísla vyjadřující, co se stane, když neuron dostane informaci, jak o ní informuje další neurony, kdy jde do aktivovaného stavu a jak silně ovlivní další neurony. Prostě hromada čísel. Nezjistíte, jaký vzorec, jakou informaci (vzruch) nesl a obsahoval. Tím je forenzní rozbor nemožný.

Pokud máme software, který není založen na umělé inteligenci a strojovém učení, můžete udělat audit, který zjistí, zda software nemá chyby - ještě předtím, než problém vznikne, stačí jen podezření. A ten zjistí, proč se software v daných situacích chová tak či tak. Se strojovým učením toto nejde, protože to, proč a jak se chová, není naprogramované. Naprogramované je to, jak se učí a dává výsledky. Audit by tak certifikoval kód pro učení, nikoli pro rozhodování - ten není naprogramován, ale naučen. A mechanismy strojového učení jsou známé, tam se při auditu žádné překvapení neobjeví.

A to je velký současný problém lidstva. Budeme provozovat systémy, případně dokonce kritické systémy tak, že je lidé nebudou moci kontrolovat? A pokud ano, bude nutné vždy velmi jasně stanovit, co je ještě akceptovatelné chování takového systému.

Nejspíše bude nutné najít konkrétní problémové oblasti a dohodnout se, co akceptovatelné je a co není, což bude velmi složité, i s ohledem na různé kulturní a historické odlišnosti různých zemí. Je potřeba se dohodnout, která pravidla a které konvence jsou porušitelné a které ne.

Už byl někdy v reálně nasazeném systému s umělou inteligencí takto vzniklý problém odhalen?
Ano a mohu vám dát reálný příklad. Finanční institutce do testovacího provozu nasadila systém využívající strojové učení, který určoval kreditní skóre jednotlivých klientů. No a tento systém začal postupně některé klienty prokazatelně diskriminovat - na základě pohlaví, náboženství a rasy.

Čtěte více

No a teď co s tím. Přijmeme takové chování s tím, že holt tyto parametry nějaký vliv na kreditní skóre mají a tak to je? Nebo je to neakceptovatené, protože to odporuje principům společnosti, případě je to třeba protizákonné nebo dokonce protiústavní? Co uděláte?

Máte možnost proti tomu protestovat, ale nemáte možnost zjistit, proč se systém takto chová. Kdo je zodpovědný? Normálně to je tvůrce systému. Ale v tomto případě je zodpovědný kdo? U koho budete funkčnost systému reklamovat? Tvůrce se může snadno bránit: výsledek učení je závislý na datech a metadatech, která jste systému dodali, je to vaše věc. Poskytl někdo falešná data? A co když byla vstupní data během učení zkreslena (biased) třeba jen jejich nevhodným sběrem a výběrem?

Ve kterých oblastech bude umělá inteligence a strojové učení nejpřínosnější?
Těžko odpovědět, protože je spousta oblastí, do kterých se strojové učení a umělá inteligence teprve promítnou. U některých to bude nenápadné, ale u některých způsobí změnu převratnou. Lze však říci, že vše, co bude možné automatizovat pomocí umělé inteligence, pomocí umělé inteligence automatizováno bude. Mnoho uplatnění bude teprve objeveno a každého průmyslového odvětví se to dotkne. V každém odvětví se totiž hledá zvýšení efektivity a to přesně tyto technologie přinášejí.

A tady se můžeme dostat na úplně jinou úroveň etické otázky: množství pracovních míst, která díky těmto technologiím zaniknou, bude obrovské. A nepůjde přitom o běžný efekt, který byl u všech tří průmyslových revolucí. To je typická reakce mnohých politiků: „Když se podíváme zpátky do historie, tak každá průmyslová revoluce ve výsledku vytvořila více pracovních míst a příležitostí, než kolik v jejím důsledku zaniklo.“ A mají pravdu, protože začínají větu „když se ohlédneme zpět“. Když se podíváme zpět, to je to, co vidíme. Ale současná otázka je „když se podíváme dopředu, co nás čeká?“ A na to prostě neznáme odpověď. A je příliš jednoduché a příliš laciné říci, že „tohle se stalo, a proto se to stane vždy opět, stejným způsobem“. To opravdu jisté není.

Otázku, co nastane, řešit musíme, a to zejména v jakém rozsahu a jak rychle to nastane. Opravdu vznikne takové množství pracovních příležitostí, že to kompenzuje, nebo dokonce překoná příležitosti současné, jako tomu bylo v minulosti? Tím si opravdu nejsem jistý. Vývoj IT se zvyšuje exponenciálně, dokonce se již překonává Moorovo pravidlo, vše je rychlejší a efektivní. Je to bezprecedentní rychlost, a tak se tentokrát opravdu může stát, že zanikne více pracovních míst, než jich ve stejném čase dokážeme najít.

Musí tedy přijít společenská debata nad tím, co uděláme, když se opravdu nepodaří najít dostatek pracovních míst pro všechny. V mnoha zemích je to již realitou - práce je z mnoha důvodů nedostatek. Co uděláme, až to přijde?

Občas slyším komentář „tentorkát to ještě zvládneme“ a já odpovídám, že i přesto bychom tu debatu měli vést a připravit se na příště, protože příště bude za chvíli a bude dobře, když budeme připraveni. První průmyslová revoluce byla na začátku devatenáctého století - parní motory. Zhruba za sto let přišla druhá revoluce - elektrifikace. Pak po 50 letech přišlo numerické ovládání a průmyslová automatizace, po 25 letech přišel průmysl 4.0 a současná revoluce. Kdy bude další? Bude to za dvanáct let?

Jako IT firma jste za tyto budoucí jevy svým způsobem zodpovědní.  Vidíte již nějaké řešení?
Toho jsme si vědomi, technologické firmy jsou za tyto změny a následky zodpovědné. Ale to neznamená, že je mohou vyřešit. Chceme se však účastnit debaty a chceme v rámci svých možností přispět k řešení.

Ve Fujitsu jsme přesvědčeni, že technologie jsou silou dobra. Každá technologie může být a v minulosti často byla použita jako zbraň. Historie je plná příkladů „weaponizace“ všeho možného. Jakmile je něco efektivní, překvapivě dobré, revoluční, může to být proměněno ve zbraň. Jsme si vědomi, že dáváme lidem do ruky velmi silné technologie a jsme rádi, když jsou používané pro dobro. ICT společnost ale nemůže vyřešit případné následky sama, je to celospolečenská otázka vyžadující celospolečenskou debatu.

Čtěte více ...

Zejména je třeba naslouchat lidem, kteří technologie odmítají. Jsou v každé společnosti a chtějí, aby se s vývojem zpomalilo. Je potřeba jim dát prostor, ačkoli s nimi nesouhlasíme, protože technologie považujeme za prostředek k dobru, a proto chceme vyvíjet co nejrychleji. Ale obavy a argumenty oponentů musíme vyslechnout.

Již nyní se některé skupiny zabývají různými zvláštními nápady, jako je základní nepodmíněný příjem, který by měl být v jejich představách nastaven tak, aby i lidé, kteří nebudou mít zaměstnání, mohli dále slušně žít. Pokud bude exponenciálně růst i produktivita společnosti, tak si to společnost bude moci pravděpodobně dovolit, jen musíme nalézt cestu, jak to udělat správně. Rozdělovat bohatství inteligentními způsoby a snažit se tím zabývat. Stojí to za zkoušku. Ve Švýcarsku se o tom hlasovalo, podpora byla 30 procent, což je překvapivě mnoho.

Ale je to jen jedna možná cesta k cíli a já nejsem vůbec přesvědčený o tom, že je to ta správná. Ale je potřeba ji prozkoumat.

Vstoupit do diskuse (293 příspěvků)

Nejčtenější

Čtěte celý iDNES.cz bez rušivých reklam. S iDNES Premium na 5 měsíců za 19 Kč

Čtení bez vyskakujících reklam

Odemkněte si exkluzivní obsah a čtěte ho nově bez reklam překrývajících text.

Pokochejte se Prahou za diktatury komunistů. Od stalinismu až po poslední obušky

Praha, 1965

Podívejme se na bohatý soubor výjevů z Prahy z let padesátých až osmdesátých. Uvidíme místa, která již ve skutečnosti neuvidíme, ale i místa, která se prakticky nezměnila, nepočítáme-li tehdejší...

Na český trh se vrací stoletá značka, ale jinak, než by pamětníci čekali

Packard Bell

Se sloganem „tech it easy“ na trh přichází vzkříšená značka Packard Bell. V dávných dobách známý brand notebooků tentokrát přichází s rozmanitým sortimentem levné spotřební elektroniky zaměřené na...

Čech Jiří Pruša jako první na světě dobyl severní pól v ultralehkém letadle

Severní pól

V sobotu 4. července 2026 v 8:46 ráno odstartoval Jiří Pruša z nejsevernějšího letiště světa na Špicberkách a po zhruba dvanácti hodinách se tam vrátil jako první člověk, který doletěl na severní pól...

O invazi do Československa z roku 1968 lžou i někteří politici

Lidé se 21. srpna 1968 shromáždili před budovou Československého rozhlasu.

Podívejme se na dva konkrétní lživé příspěvky z velké množiny podobných, které zaplavují sociální sítě, a uveďme je na pravou míru. V případě jejich šiřitelů lze sice doučování z dějepisu přirovnat k...

Adamec chtěl být českým Gorbačovem. Nakonec pohřbil sám sebe

Ladislav Adamec s Gorbačovem, kolorovaný snímek pomocí AI

Nový seriál Normalizátoři představí komunistické vůdce, kteří v 70. a 80. letech řídili Československo. První díl patří poslednímu normalizačnímu premiérovi Ladislavu Adamcovi, který se narodil...

Když technologie nestačí, nastupuje značka. Apple testuje hranice věrnosti

Komentář
ilustrační snímek

Společnost Apple testuje, kolik jsou zákazníci ochotni zaplatit nikoli za technologický náskok, ale za značku, ekosystém a vlastní neochotu odejít.

16. září 2026  12:07

Černý rytíř nad Zemí. Konspirátoři mluví o mimozemském satelitu. Jaké jsou důkazy

Premium
ilustrační snímek

Na oběžné dráze kolem naší planety krouží už 13 000 let mimozemský satelit. Je to jen konspirační blábol, nebo existují důkazy, které jeho existenci potvrzují? Fakta o mystickém Černém rytíři přináší...

16. září 2026

Praha zažije elitu britského Královského letectva. Toto dokážou Red Arrows

Red Arrows, akrobatická skupina RAF

Mezi světovou špičku vojenských akrobatických formací zajisté patří i britská skupina Red Arrows. Na svém kontě má zatím kolem pěti tisíc vystoupení v 57 zemích světa. Elitní piloti Red Arrows šíří...

17. září 2025  11:34,  aktualizováno  16. 9. 11:18

Podivuhodný příběh Lea Aschenbrennera aneb Jak vydělat strašením miliardy

„Vidím AI jako zdokonalení než nahrazení lidských činností. V některých však...

Minulý týden zveřejnil šéf společnosti Anthropic Dario Amodei výzvu ostatním firmám v oboru. Navrhuje v ní dočasné zpomalení vývoje velkých jazykových modelů. Lidstvo tak má získat čas na posouzení...

16. září 2026  10:02,  aktualizováno  10:02

Mrtvý královský krab se postavil na nohy. Kutil mu namontoval motory

Nadšenec zkonstruoval robokraba ze skutečné krabí skořápky

Mrtvý královský krab dostal dráty, šrouby a mechanické součástky. Čínský kutil podle virálního videa strávil patnáct dní jeho proměnou v bizarního robota, který znovu pohybuje klepety i nohama....

16. září 2026

Na český trh se vrací stoletá značka, ale jinak, než by pamětníci čekali

Packard Bell

Se sloganem „tech it easy“ na trh přichází vzkříšená značka Packard Bell. V dávných dobách známý brand notebooků tentokrát přichází s rozmanitým sortimentem levné spotřební elektroniky zaměřené na...

16. září 2026

Toaleta jako riziko? Spláchnutí dostane bakterie do výšky, kde je lze vdechnout

Premium
ilustrační snímek

Řada z nás už asi slyšela, že záchod patří mezi prostředí, kde se udržují poměrně bohaté kolonie bakterií. Nyní vědci v jedné studii zkoušeli zjistit, co se s nimi stane, když někdo na toaletě...

15. září 2026

AI Overviews v Česku zasahují pětinu vyhledávání. Firmy řeší, jak být vidět

Ve spolupráci
Marek Foršt, Head of SEO v evisions

Být na první stránce Googlu už nemusí znamenat, že si vás uživatel skutečně všimne. Umělá inteligence stále častěji odpovídá přímo ve výsledcích vyhledávání a část lidí už na původní web vůbec...

15. září 2026

Hrůza a bezmoc. Když poprvé vyjel do boje tank, vyvolal v zákopech paniku

Snímek dokumentující s jakým terénem se musely osádky vypořádat

Dnes uplynulo přesně 110 let od chvíle, kdy se poprvé dostaly do boje obrněné vozy známé pod názvem tank. Jak ovlivnily průběh první světové války a jak důležitý okamžik historie to byl, to si...

15. září 2026

Tato modelářská díla zvítězila ve druhém kole soutěže Příběh mého modelu 2026

Soutěž
ilustrační snímek

Léto je pryč a s ním i naše modelářská soutěž Příběh mého modelu. Opět jsme se utvrdili v tom, kolik se mezi námi najde velmi zručných výtvarníků, kteří dokážou běžnou stavebnici posunout mnohem dál....

14. září 2026  17:32

7 zásad bezpečného poutání dětí v autosedačce, které musíte znát
7 zásad bezpečného poutání dětí v autosedačce, které musíte znát

Chcete mít jistotu, že je vaše děťátko v autě opravdu v bezpečí? I drobné chyby při poutání do autosedačky mohou mít vážné následky, často si je...

Družice FLEX s optikou z Turnova změří neviditelnou záři rostlin

Realizace optického teleskopu v TOPTEC v českém Turnově.

Přestože rostlina může na pohled vypadat zeleně a zdravě, kvůli suchu nebo horku pozvolna zpomaluje fotosyntézu. Evropská kosmická agentura (ESA) se chystá vyslat do vesmíru novou družici FLEX, která...

14. září 2026  10:15

Zachrání jednou lidstvo? Proti hrozbě z vesmíru pomůže elektromagnet, líčí vědec

Premium
Český geofyzik a specialista na magnetismus Günther Kletetschka

Český vědec Günther Kletetschka má hromadu netradičních nápadů. Dva nejnovější nám popsal v rozhovoru. První se týká problému, na němž si vylámalo zuby několik generací teoretiků. Druhý zase může...

14. září 2026
Nastavte si velikost písma, podle vašich preferencí.
×

Rušivé reklamy na mobilu končí

Vyzkoušet