Český vývojář Marek Rosa, zakladatel pražské firmy Keen Software House proslavené především hrami simulujícími středověk nebo dobývání vesmíru, se naplno pustil na pole obecné umělé inteligence. Se svým týmem chce vybudovat obecnou umělou inteligenci, která se bude umět učit z nových zkušeností, zobecňovat svá pozorování a dokonce možná jednou řídit samostatného robota s vlastním tělem a rozhodováním.
Prozatím se jeho GoodAI, do něhož sám Rosa investoval asi 250 milionů korun, zaměřuje na vývoj nástrojů pro simulaci počítačového mozku schopného učit se například hrát nové hry. Počítač se novou hru učí podobně jako člověk. Vidí jen pixely na obrazovce a vůbec neví, co znamenají. Ví jenom, že se o něco snaží - je odměňován například za vysoké skóre. Teprve metodou pokus-omyl postupně počítač odvozuje zákonitosti té které hry, zjišťuje, jak se odráží míček, co vede k dobré strategii a jak maximalizovat udělenou odměnu v podobě bodů. Tím rozpoznává „vzorce chování“ a upevňuje si je do budoucna.
DeepMindSvým projektem GoodAI chce Marek Rosa konkurovat například týmu DeepMind společnosti Google, který v posledním roce rovněž ukázal, jak se jejich obecná umělá inteligence učí hrát hry jen na základě toho, co vidí na obrazovce - na video se podívejte zde. |
Co vás k myšlence umělé inteligence přivedlo?
Všeobecná umělá inteligence je můj sen už od dětství a víceméně celý život jsem směřoval k tomu, abych měl tým, se kterým bych to mohl zrealizovat. Já ji chápu jako určitý akcelerátor jakéhokoliv dalšího technologického poznávání – místo toho, abychom se snažili vyřešit jednotlivé problémy by bylo lepší vytvořit právě tu umělou inteligenci a tu následně nechat vyřešit všechny ty jednotlivé věci za nás. Bylo by to efektivnější, než to dělat postupně.
Umělou inteligenci trénujete tím, že jí dáváte pozitivní signály, když něco udělá dobře?
Nebo negativní, pokud se mu něco nepodaří. Princip jeho fungování si můžeme představit tak, že máme nějakého agenta v určitém prostředí a ten agent má svůj „mozek“ a „tělo“. Skrze své tělo přijímá mozek data z prostředí a zároveň může prostředí i sám ovlivňovat – pomocí končetin a podobně. Navíc má ten mozek motivační systém, který tvoří odměna a trest. Ty jsou ve skutečnosti jen nějaký signál, kterými my, nebo nějaký jiný stvořitel, vysvětlujeme tomu mozku, které cíle jsou „žádouci“ a které „nežádoucí“, tedy které má sledovat a kterým se naopak vyhýbat. To znamená, že on hledá patterns (vzory) v datech, které do něj vstupují a v těch které sám posílá ven – nejprve spíše náhodně, později už na základě nějakých zkušeností – a sleduje, které jsou odměněny a které potrestány.
Hra Breakout z roku 1976
Jak takové učení probíhá, k jakým informacím má AI přístup, chápe třeba pravidla té hry?
V případě hry Breakout počítač „vidí“ to, co my, pouze pixely na obrazovce, tedy nestrukturovaná, hrubá data. Pravidla hry nechápe, začíná jakoby s prázdnou hlavou, jako dítě. Začne z pixelů rozeznávat jednotlivé patterny – cihličky, míček a jejich chování. Vytvoří si takový zjednodušený mentální model celého prostředí, na základě těchto patterns objevuje nové, například jakým způsobem se pohybuje míček, když narazí do stěny. Cílem těchto algoritmů, a vlastně cílem celého toho našeho snažení, je najít univerzální algoritmy, které se budou všechny tyto patterny učit, přeučovat se je, být schopny je zobecňovat, předpovídat a tak dále.
Jak dlouho počítači trvá, než se hru naučí, tedy přejde z fáze, kdy vůbec nezná pravidla, až do té, kdy je schopný hru úspěšně dohrát?
V případě Breakoutu to myslím bylo pár minut. Tyto časy v tomhle bodě ještě ale nejsou důležité, naše algoritmy jsou zatím velmi experimentální, zatím je neoptimalizujeme.
Announcing GoodAI: a Keen Software House sister company in general artificial intelligence http://t.co/sdNo1CHawS
Zvládnout Breakout byl váš první milník. Na čem pracujete nyní?
Náš další cíl je, aby se naše AI dokázalo samo naučit více her, aniž by byla mezi nimi jeho paměť resetována. Tedy aby používalo existující znalosti v nových situacích, zvládlo je nějakým způsobem generalizovat.
Kdy čekáte, že byste to mohli zvládnout?
Já si myslím, že za několik měsíců.
Budoucnost patří počítačové inteligenci. Co nás zdržuje?
Co plánujete v dlouhodobějším hledisku?
Máme další cíle, které se začínají rýsovat. Jedna z velkých oblastí je, aby se náš mozek dokázal naučit sekvence motorických příkazů a dokázal je měnit podle okolností. Například se „narodí“, má nějaké tělo, ale neví vůbec, jak ho používat – má ale touhu se někam dostat. Začne tedy metodou pokusu a omylu vyvíjet nějaké akce k tomu, aby se tam dostal. To by samozřejmě trvalo strašně dlouho, je s tím tedy spjatá jiná věc, tzv. imitation learning. To znamená, že nějaký mentor ukáže robotovi, jak se má správně chodit, naučí ho tu sekvenci příkazů potřebnou k chození.
Následně je mentor odstraněn a už je na samotném robotovi, aby správně využil naučené sekvence a případně si je adaptoval na nové situace, které se mohou lišit od té, ve které se učil. Důležité je to, že už nemusí začínat úplně od píky, metodou pokusu a omylu, ale bude mít k dispozici už nějaké relativně dobré pohyby. Bude se stále muset přizpůsobovat změnám, například dáme-li mu na záda těžký batoh.
Marek RosaČeský programátor Marek Rosa založil softwarovou společnost Keen Software House v roce 2010 (jako s.r.o. o rok později. Uspěl s vesmírnou hrou Miner Wars. V roce 2013 navázal tým simulační hrou Space Engineers a v roce 2015 se vývojáři vrátili na Zem (a do středověku) hrou Medieval Engineers.  Marek Rosa (Keen Software House) Marek Rosa bloguje v angličtině na marekrosa.org |
Toto učení se sekvencemi příkazů se dá pak využít i u jiných věcí. Kupříkladu když mluvím, tak se sice snažím vyjádřit určitou myšlenku, ale probíhá to tak, že říkám nějakou větu, která se dá zase rozbít do slov, což jsou opět nějaké příkazy, které posílám do jazyka, hrtanu, a tak podobně. Ať už se bavíme o čemkoliv, vždy je to nějaká hierarchická sekvence příkazů.
Když už teď mluvíte o robotech, za jak dlouho čekáte, že budou mít vaši AI?
No já bych to nejraději viděl hned (smích), ale nevím, opravdu nevím. V tom čekáme na nějaký velký průlom. Máme tam některé hodně nadějné směry, máme už například virtuálního robota, který stojí, fouká do něj vítr a učí se, jak udržet rovnováhu. Zatím se sám naučí sekvenci pohybů, potřebnou k udržení se na nohou, ale třeba rozkročit se, když na něj zafouká silnější vítr, to ještě nezvládá.
Váš nejvyšší cíl je vytvořit AI na úrovni lidského mozku, která se bude nadále sama zlepšovat. Kdy by to tak mohlo být?
Říká se, že by to mohlo být za tři roky nebo i za 30. Ty tři jsou ta hodně optimistická varianta. Někdy si říkám, že je mi jasné, jak by to vlastně všechno mělo fungovat a přemýšlím, proč jsme to tak ještě neudělali, co nás od toho zdržuje. Na druhou stranu to nejde tak jednoduše.
Jak jste na tom v porovnání s konkurencí?
To, na čem pracujeme my, je AGI, artificial general intelligence. Většina ostatních v této oblasti dělá takzvané narrow AI, které jsou specializované, odborník je vytváří a optimalizuje přímo pro jejich úlohu, neučí se sama. Do této kategorie bych zařadil i machine learning, to je zjednodušeně řečeno jen hledání souvislostí (patternů) v nějakých datech. Ono to není zase tak odlišné, my spoustu věcí například z machine learningu využíváme, ale náš cíl je o krok dál. My chceme vytvořit něco, co je schopné samo se ty patterny učit, vytvářet je a když se k tomu připojí i motivační systém, tak vznikne jakási nezávislá bytost.
Podobný cíl však mají i jiné společnosti, například britský DeepMind, který byl odkoupen Googlem. V čem se lišíte od těchto?
Takových společností není moc. Kromě nás a DeepMindu je to Numenta a Vicarious. Ty se soustředí spíše na konkrétní oblast než na rozličnější směry. Co nás víc spojuje s DeepMindem je, že jsme dost agnostičtí vůči architektuře. To znamená, že architektura našeho mozku je velmi heterogenní, jsou v něm rozličné moduly. Jeden třeba obstarává krátkodobou paměť, další modul se soustředí na predikci, jiný zase testuje hypotézy a tak dále. My jsme si ten mozek tak nějak rozmodularizovali, řešíme jednu věc za druhou. Nevím, jestli to dělá DeepMind taky tak, ale určitě jsou jako my otevření více přístupům.
Od nich se pak lišíme hlavně ve dvou věcech. První je fungování týmu, kdy my se snažíme budovat jednotnou architekturu celého mozku, přičemž každý člen se věnuje jedné části. Druhá věc je otevřenost. DeepMind sice občas publikuje nějakou studii nebo článek, my ale chceme jít o krok dále. Publikujeme náš nástroj, Brain Simulator, bude dokonce open source a navíc v budoucnu i napojen na naše hry. Kolem něj chceme vybudovat i takový ekosystém, ve kterém jiní AI výzkumníci nebo nadšenci budou moci vytvářet vlastní moduly a sdílet je s ostatními.
Vy na něm nechcete vydělávat?
On samotný bude zadarmo, čím bychom pak chtěli vydělávat, jsou ty moduly nebo celé mozky. Abych dal příklad, když má třeba Microsoft Visual Studio a prodává ho za pár tisíc dolarů, tak to je jedna možnost jak fungovat. Druhý model by byl, kdyby si bral určité procento z každého softwaru, který byl naprogramován pomocí Visual Studia, a to si myslím, že je ten lepší model.
To nás přivádí právě k otázce financování. Jaká je v tomto ohledu vaše představa? Podle vašeho blogu projekt zatím financujete sám, z peněz, které jste vydělal hrami Space Engineers a Medieval Engineers. Vy jste tedy do GoodAI vložil vlastních 10 milionů dolarů?
Ano. Zatím jsme všechny tyto peníze samozřejmě nespotřebovali.
A jak to vidíte dál? Máte v plánu i nadále využívat finance z prodeje her? Předpokládám, že GoodAI zpočátku samo moc výdělečné nebude.
Právě, že může být, už jsme přemýšleli o možných komerčních využitích. Například v hrách, ať už v našich, případně nějakých nových. Hry jsou virtuální prostředí, ve kterých se agenti mohou učit a zlepšovat, a zároveň v nich cena za případnou chybu není tak fatální, jako kdybychom se třeba rozhodli dělat sebeřídící auta. Zakomponování našeho AI má zároveň také šanci zvýšit prodej těch her.
Další taková aplikace může být automatizace testování softwaru. Naše AI by sledovalo živé testery, co dělají, kam klikají a tak dále. Učilo by se tím jejich patterny a později by je zvládlo generovat samo. Nemusel by ho nikdo přesně programovat, ono by se samo naučilo akce, které tester prováděl, včetně závislostí a kontextu. Na tomto si budeme právě moci otestovat, zda umí naše AI dobře generalizovat. Podobná automatizace se dá využít samozřejmě i dále, dá se tomu říkat desktopový asistent.
Takováto komercionalizace v tom krátkodobém horizontu by nám posloužila hned na dvě věci. Jednak by přinesla peníze do GoodAI a také by poskytovala konkrétní testovací scénáře, na kterých bychom mohli zjistit, co naše AI zvládá a nezvládá. Pak jsou samozřejmě i další využití, třeba ti zmínění roboti, ale to už je takové sci-fi, tam nejdřív musí dojít právě k nějakému tomu velkému průlomu.
Kam s umělou inteligencí?
Chcete integrovat GoodAI do vašich stávajících titulů?
Ano, vydali jsme Brain Simulator a následně, tak do tří měsíců, plánujeme integraci, kterou umožníme lidem propojit mozky z BrainSim s počítači ovládanými postavami v našich hrách. Pustí si Brain Simulator, pustí si hru a do postavy - například nějakého barbara ve hře - nahraje mozek z BrainSim. To znamená, že to, co uvidí ten barbar, půjde do Brain Simulatoru, ten to zpracuje a pošle sekvenci příkazů zpět do toho barbara, který to vykoná.
Jak zvládá umělá inteligence orientaci ve 3D prostředí?
To právě teď budeme muset zjistit. Ono si samozřejmě může pomáhat všelijakými triky. To bude otázka modulů, co se přidají do Brain Simulatoru. Pokud tam bude takový, který bude schopný vytvořit reprezentaci 3D prostoru na základě věcí okolo sebe, tak by to mohlo fungovat.
Ve hře Medieval Engineers hráči staví dobývací stroje v rámci „sandboxového“ prostředí a pak je testují. V podobném komunitním prostředí simulátoru by se mohla vyvíjet i umělá inteligence.
Jak by se projevilo univerzální AI ve hře?
Bylo by adaptivní. To dosavadní je založeno na určitých předpřipravených scénářích. GoodAI by bylo adaptivní, sledovalo by situace, ve kterých dostane odměnu nebo trest, hledalo v tom patterny a dávalo si je do souvislostí a volilo takové chování, které by vedlo k odměně.
A trest by byl v tomto případě, kdyby jeho postava zemřela?
Spíše kdyby ho potrestal hráč. AI by hráč sám instruoval. Představte si to třeba tak, že ve hře má hráč psa, jehož mozek je napojen na Brain Simulator a má nějaké základní instinkty, například vás sledovat. Hráč mu přes imitation learning ukáže, že má někam jít, sebrat předmět a vrátit se a za to ho odmění. AI pak pochopí, že tohle má dělat. Nebo třeba někde zaštěká a vy ho v jedné situaci odměníte a v jiné potrestáte a AI by mělo pochopit rozdíl mezi těmi situacemi. Netvrdím, že to naše AI zvládne teď na první pokus, to nebude úplná sranda.
Takovou integraci jste zatím netestovali?
Už jsme něco takového zkoušeli, asi před půl rokem. Měli jsme vytvořeného šestinohého robota ve Space Engineers, byl v uzavřené aréně a na stěnách byly různé obrazce. On se na základě odměn a trestů naučil chodit k určitým obrazcům a vyhýbat se jiným, takže i sekvenci motorických příkazů, nutných k pohybu. Netvrdím, že to bylo něco velkého, on ani nemohl pořádně spadnout, protože měl šest nohou. Ale vše se mozek v Brain Simulatoru naučil jenom na základě toho, co robot „viděl“, z toho, co mu renderovala hra.
Umělé inteligenci patří budoucnost, roboti bez práce nebudou
Kdyby vám celý projekt vyšel podle představ, co všechno se může změnit?
Umělá inteligence má potenciál změnit svět opravdu zásadně. Může změnit pracovní trh, v určitém okamžiku začnou stroje dělat práci, kterou teď děláme my, o hodně lépe, a to nejenom tu mechanickou, ale i tu kognitivní. Potom je tedy otázka, z čeho budeme my lidé žít.
Roboti pracují vedle lidíPodívejte se, jak jsme programovali robota, který umí pracovat vedle živých lidí a nepřekážet si s nimi. Není bez zajímavosti, že lidé s roboty spolupracují rádi, často raději než s ostatními lidmi (více o studii v našem článku).  |
Jaká je tedy vaše představa?
Podle mě je potřeba být akcionářem firmy, která vyrábí AI nebo roboty. Takoví lidé to budou mít garantované, protože roboti budou vždy něco vyrábět. Lidé, co zůstanou mimo tuto ekonomiku, tak to budou mít těžší. Na druhou stranu, kdyby nám ten náš projekt vyšel, tak samozřejmě nechci být ničitel světů, který by připravil celý svět o práci (smích). Zase další věc je, že takové stroje za nás pak zvládnou vykonat všechny věci, které ani dělat nechceme, ale musíme. To už je samozřejmě sci-fi, ale moje představa je taková, že nám pak budou zajišťovat všechny základní věci, které potřebujeme k životu, aniž bychom jim za to museli platit. Fungovalo by to jako další součást přírody, jako třeba Slunce, které pro nás „vyrábí“ spoustu věcí, aniž bychom s ním museli něco dělat.
A to vidíte jako dalekou budoucnost?
Já myslím, že je to otázka dekád, že jakmile překonáme jeden velký průlom, až se umělá inteligence bude schopná opravdu učit a generalizovat, tak už to půjde velmi rychle.
