Diskuse k článku

Programátoři pokořili poker. Mohli vydělat miliony, vybrali si Science

Karetní hra Poker Texas Hold’em je pro počítače neobyčejně náročná. Ještě nedávno měli nejlepší hráči nad počítačovými programy navrch. Letos to přestalo platit. I díky českým programátorům, kteří v článku pro Science popsali svou inovativní umělou inteligenci DeepStack.

Upozornění

Litujeme, ale tato diskuse byla uzavřena a již do ní nelze vkládat nové příspěvky.
Děkujeme za pochopení.

Zobrazit příspěvky: Všechny podle vláken Všechny podle času

H62y34n35e92k 88M27r17t37v43ý 2180317669821

casina použití hráči sice zakazují, ale je otázkou času, kdy tyto boty samy nasadí. pár umělých hráčů jim hezky zvedne zisky nad rámec vybírání rakes ;-)

0/0
6.3.2017 10:41

M71i89c41h52a32e16l 55P82r61i64n62c 7505555180985

Jak definují autoři Nash equilibrium (NE) v pokeru obecně a jak definují NE specificky v HUNL Hold'em?

Mám chápat aproximaci NE tak, že používají neurální sítě k naučení výsledků zpětné indukce? Sice nejsou schopni vypočítat přesně NE ke každému stavu, ale spokojí se s nejlepší přesností, kterou omezí další vrstvou neurální sítě? Klidně mne opravte, rád s dozvím víc.

0/0
5.3.2017 11:26
Foto

M67i80r47o25s83l22a95v 53O23l12š68á64k 4740351708896

Nevím, kolik toho víte o samotném NE, tak aspoň napíšu základy, které znám já. NE pracuje s diskrétními strategiemi -- "když se hrálo takto a teď je hra v tomto stavu, zahraju za všech okolností tento tah" -- a jejich pravděpodobnostními kombinacemi. Například ve hrách s úplnou informací jako jsou šachy je neprohrávající rovnou nějaká diskrétní strategie, jen ji neznáme. Zato v "kámen, nůžky, papír" máme tři možné diskrétní strategie -- dát kámen, dát nůžky a dát papír -- ale optimální (neprohrávající) strategie je vybrat si náhodně jednu z těchto tří.

Tvrzení o NE říká, že je možné v každé hře několika hráčů rozdat hráčům strategie (pravděpodobnostně navážené), aby žádnému jednotlivému hráči nepomohlo svoji strategii změnit, což se dá ekvivalentně formulovat tak, že se žádnému hráči nevyplatí změnit svou strategii na diskrétní. Obecně to pro hry dvou hráčů znamená, že pro oba hráče existuje optimální strategie, protože když hráčům dáme strategie podle NE, tak je strategie hráče 1 optimální, ať hráč 2 svou strategii jakkoli změní (tedy ať hraje jakkoli).

Pro větší počet hráčů je to problém, protože nepomůže, aby jeden hráč hrál podle NE, musí podle NE hrát všichni až na jednoho hráče. A lidsky řečeno je problém v tom, že se obecně může několik hráčů spiknout proti jednomu. Nevím, ale nakolik tohle může nastat v Pokeru.

Počítat s diskrétními strategiemi přes celou hru by bylo neúnosné, ale neúplná informace je v Pokeru vždy chvliková -- po dobu jednoho "kola" (neznám odborný název), takže stačí hrát v každém kole optimální strategii zvlášť. Takové zjednodušení vyžaduje, aby byly předpočítané optimální šance na výhru na základě množství žetonů, ale odhadnout to nějakou statistikou by nemusel být problém.

V každém kole pak je třeba vyzkoušet všechny diskrétní strategie, kterých je stále příliš. Tady se nějak nasadí předem naučená neuronka odhadující, podobně jako třeba u Go, které možnosti se vyplatí zkoumat, a jak asi vyjdou ty ostatní. Podrobněji do toho nevidím.

0/0
5.3.2017 15:04

M26i32c36h71a35e73l 18P28r95i75n70c 7115685710525

O NE toho vím dost, mě zajímala odpověď autorů. Škoda, že jste se nedržel tématu, který jsem navrhl. Podle stromových diagramů prostě počítají se zpětnou indukcí. Obecné definice NE jsou od reality hodně daleko. Vždy jste limitovaný předpoklady o svém chování i chování druhého. Strategie záleží jen na konkrétním výpočtu očekávaných hodnost a pravděpodobností.

Co jsem zjistil tak GTO je jen lokální extrém ve strategiích, který se zatím nepodařilo překonat, ale není to žádný recept na výhru. Jen funguje do doby, než přijde někdo s lepší.

Matematicky není možné dokázat existenci GTO a vždy tedy bude potvrzena jen dost dokonalou simulací.

0/0
11.3.2017 13:22
Foto

M42i19r17o68s62l70a16v 81O69l74š46á27k 4490631518806

OK, tak pardon, asi toho víte víc než já.

Mrzí mě, jestli se kvůli existenci mojí odpovědi rozhodli neodpovědět autoři, taky mě trochu zajímalo, co k tomu řeknou.

0/0
11.3.2017 13:27

M89i74c45h27a29e45l 73P93r71i29n28c 7175515940845

GTO existuje jen díky omezenému počtu hracích žetonů.

0/0
11.3.2017 13:29
Foto

M51i59r35o55s66l66a18v 28O20l49š65á95k 4870551678636

Je pravda, že co jsem se loni bavil s nějakým IBM náborářem, tak říkal, že Poker brzo padne.

Já stále čekám na matematiku -- až počítač porazí lidi v IMO, tak to na mne obzvlášť zapůsobí. Dokonce jsem se do toho výzkumu taky trochu zapojil a zkusil postavit nějakou neuronku. Ale to až tak hned nebude, zatím jsou počítače fakt marní.

0/0
4.3.2017 15:13

M94a22r20t92i35n 34S23c72h43m73i90d 8514869740282

Jestli jste se bavil s IBM naborarem zde v Praze, tak je velmi mozne ze mel informace z prvni ruky. Oba prvni autori studie pracuji v Prazskem IBM Watson labu a na rok odjeli do Kanady pracovat na DeepStacku :)

+1/0
4.3.2017 16:25
Foto

M79i61r75o89s37l94a23v 90O81l55š35á77k 4620491848486

Jojo. Vypadalo, že se orientuje. Bylo to na podzim na dni firem na MFF, ale už si nepamatuju, kdo to byl.

0/0
4.3.2017 17:40

M13a64r73t22i38n 83S90c25h34m22i81d 8334919270762

Co se tyce IMO, tak tam lide opravdu mohou byt klidni. Muj osobni typ je ze se niceho podobneho nedoziji :)

0/0
4.3.2017 16:30
Foto

M32i74r47o25s36l78a77v 36O58l80š31á38k 4470101568596

Tak to mi teda berete iluze :-), já bych doufal, že to časem půjde. Vždyť je IMO taky jen taková hra, kde je třeba šikovně prořezávat strom možností, které prozkoumáváme a občas být kreativní. A my lidi máme z nějakého důvodu fakt dobrou heuristiku...

Souhlasím, že je to pro AI fakt výzva a současné automatické dokazovače toho moc nevyřeší. Jsou ale tendence do nich implementovat strojové učení (i neuronky), což se dřív moc nedělalo. Ne že by s neuronkami hned měli na IMO, ale jestli půjde vývoj dopředu... (mimochodem, i tady mám informace vcelku z první ruky)

0/0
4.3.2017 18:08

M33a57r35t86i86n 23S62c89h95m69i60d 8644249230882

Ja nejvetci problem ani tak nevidim v samotnem automatickem formalnim dokazovaci (i kdyz to samo o sobe je nesmirne tezke), ale v prekladu "zadani ulohy" -> "formule co chceme dokazat.". Pro tento preklad je potreba aby pocitac velmi dobre chapal zadani ulohy - at uz text nebo text + obrazky.

+1/0
4.3.2017 21:16
Foto

M98i64r78o12s13l25a33v 58O68l35š37á25k 4400161548536

Tak tenhle překlad bych asi oželel a povolil automatu dostat zadání předchroustané. Slyšel jsem, že už je prý navržený formální jazyk na popis takových úloh.

Ale na druhou stranu, automatický překlad z neformální matiky do formální je pro lidi lákavý sám o sobě a taky se o to pozvolna snaží (ačkoli než se pokusí pracovat i s obrázky, tak to bude ještě vyžadovat dlouhý vývoj). Problém je, že mají málo dat, kterým by neuronky krmili -- tedy ona existuje spousta formální i neformální matematiky, ale tato data jsou jen velmi málo propojená.

+1/0
4.3.2017 21:29

J25a77r62o58s75l65a39v 89V19a21c56e29k 1652282222216

Není pravda, že šachy jsou vyřešené. Dokonce se tam také velmi výrazně pracuje s pravděpodobností.

Naopak považuji za ukázku nedokonalosti technologií, jaký obrovský výpočetní výkon musel být použit, aby porazil člověka. A to tomu programu pomohli ještě tím, že do něho nabouchali tuny partií. Tedy zdroj rozhodování pro člověka.

0/0
4.3.2017 9:04

K45a91r32e73l 67P96o53d43h10o98r66s60k58y 3965323822505

Člověk má neuronů řádově více, také se to musí naučit a stejně mu to nejde tak dobře jako té technologii. Myslím, že to spíš svědčí pro tu technologii ;-)

0/0
4.3.2017 14:26
Foto

M26i44r86o61s63l23a42v 34O87l92š90á67k 4130911498226

Tipoval bych, že výpočetní výkon Deep Blue, který porazil mistra v šachu, by se dneska vešel do mobilu.

+3/0
4.3.2017 15:26
Foto

P26a79v48e83l 80K84a27s33í28k58, 75T98e78c41h21n88e73t78.48c82z

Také si to myslím, zvláště telefon s dobrou grafickou kartou.

0/0
4.3.2017 19:34

H35y58n80e77k 88M48r79t14v61ý 2740957169261

obrovský? podle toho co je to "obrovský", když dnes i slabší notebook s houdinim, rybkou, nebo stockfish opanuje libovolný lidský šachový turnaj

0/0
6.3.2017 10:45

J47a41r27o82s97l68a41v 26V62a42c15e47k 1432552562806

Když slyším neuronová síť, tak ztrácím pozornost. Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

+2/−10
4.3.2017 4:31

V11l93a34s52t66i86m66i97l 69K94a41š14p23a71r 9531616682819

Pokud je k dispozici ten algoritmus. Je stále mnoho problémů, kde algoritmus znám není... ;-)

+4/0
4.3.2017 8:03

J40a98r93o15s74l19a17v 65V71a26c75e40k 1542922332336

:-) tak to je moudro. Algoritmus musí být znám i pro neuronovou síť. Ona sama nic nezařídí. Je to jenom způsob uložení dat v paměti a mraky pravidel. Co asi na tom počítači běží? Algoritmus!

Jestli si někdo myslí, že umělá inteligence něco vymýšlí, tak je uplně mimo.

+2/−5
4.3.2017 8:29

M60a80r71t63i59n 60S73c28h23m13i36d 8364139900882

> Každý algoritmus lze napsat efektivněji bez neuronové sítě. Jen to pak tak nezní.

Tak to je velmi odvazne tvrzeni. Neuronove site zpusobili v posledni dobe revoluci v rozpoznani reci, obrazu a strojovem prekladu. Pokud vite jak dosahnout stejne dobrych vysledku "efektivneji bez neuronove site", zalozte si startup a napr. Google tento startup ihned koupi za stovky milionu dolaru.

Vtip je v tom ze neuronove site nikdo "neprogramuje", oni se "uci" z mnoha prikladu ktere jim ukazete.

+7/0
4.3.2017 9:46

M52i77l61a24n 56V85o95l28e25k 5459103256509

Tak to asi máme různé představy neuronových sítí. Já jsem s nimi nic velkého neudělal, ale zkušenosti mám stejné jako JV.

0/0
5.3.2017 15:46
Foto

M31i39r49o48s80l89a21v 71O89l15š32á79k 4340741918716

Je samozřejmě možné, že současný hype okolo neuronových sítí je přehnaný, a já můžu být trochu zaujatý, jelikož je to jediná technika strojového učení, kterou trochu znám. A jak jsem se je učil, tak jsem se taky naučil, nakolik jsou neuronky ošemetné, a nemusí být až tak snadné vyřešit problém tím, že tam frknu hlubokou neuronku.

Za jednoznačné úspěchy neuronek v poslední době považuji zejména výsledky týmu Deep Mind -- WaveNet pro generování zvuku, univerzální AI pro hraní počítačových her, které dostává jen vstupy z monitoru a ze začátku vůbec neví, jak hra funguje -- pacman, arcanoid, atp., a samozřejmě loňská porážka člověka v Go.

Navíc co jsem tak slyšel, tak se úspěšně nasazují pro rozpoznávání obrázků či strojovém překladu, jak psal předřečník.

A musím uznat, že moje uznání neuronek pramení zejména z obdivu k úspěchům profíků než z vlastní zkušenosti.

0/0
6.3.2017 16:28

M81i79l62a79n 36V33o61l92e78k 5759463636619

Z těch obecných zpráv právě vůbec nevyplývá, jak byly neuronové sítě použity. Můžete si udělat neuronovou síť na vstupní matici 8 x 5 na rozpoznání znaků, bude docela jednoduchá a rychle se požadované znaky naučí, ale toho snadno dosáhnete i jinak. Ovšem nevěřím, že někdo udělal neuronovou síť se vstupy pro 12 megapixelů velký obrázek a neuronová síť to sama převede na psaný text. Co by konkrétně mělo lézt z výstupních neuronů? Podle mne se neuronové sítě používají jen jako samoučící část v rámci vymyšleného algoritmu.

0/0
7.3.2017 7:54
Foto

M55i27r58o45s33l96a82v 63O87l54š23á79k 4260611728386

Tak zrovna třeba to hraní počítačových her je dost jenom neuronová síť, která na vstupu dostane obrázek monitoru (ale 12 megapixelů to není, jsou to hry z Atari), a na výstupu má několik málo možností (výstupních "neuronů"), jak hrát.

Ale i na to, co popisujete si umím představit neuronovou síť -- napřed hromada konvolucí, v nich sem tam nějaké maxpooly, pak se to nažene do stavu RNN buňky, která výsledek dekóduje na posloupnost slov. Moc nevím, co bych tam implementoval za vymyšlený algoritmus.

0/0
7.3.2017 10:43

D44a32v21i13d 56D42i64r47g44a 7235971778

Ano, a ten algoritmus v kostce zní "Zkus to a jestli to dopadlo dobře, zkoušej to takhle častěji, jinak to takhle zkoušej méně často". Výhoda je, že je to algoritmus velmi jednoduchý a uplatnitelný i v situacích, kdy řešení problému nedokážeme rozpadnout na jasné kroky. Třeba rozpoznávání obrazu.

+2/0
5.3.2017 8:55

M55i69l15a52n 56V19o44l86e72k 5439113776199

Jenže data pro neuronovou síť musíte nějak smysluplně připravit.

0/0
5.3.2017 15:44

K18a92r35e48l 10P20o71d87h64o43r53s35k60y 3155233622205

Neuronová síť je hlavně něco jako ohromná soustava rovnic, o algoritmus tam až tak nejde. Pokud umíte tuto soustavu sestavit ručně (a navíc efektivněji), tak jsem opravdu zvědav na váš výsledek.

0/0
4.3.2017 14:29

J10a19k97u14b 17K28r49e69j33č16í 3271853648104

Az pocitacove programy prekonaji v hrani pokeru lidi a je to jen otazka casu, bude to konec online hrani pokeru.

0/−1
3.3.2017 23:15

J30a43n 93P48r49o39c97h43a13z36k88a 1907355619277

Pro sedmdesátiletého dědka jako jsem já, který svůj první laptop s programem T 602 začal používat někdy v polovině 90.let, jsou všechny podobné články něco jako science fiction.

+10/0
3.3.2017 23:13

T94o14m31a33s 61K42o90t78a14l 8107734854783

Na druhou stranu jste i jako "sedmdesátiletý dědek" udržel krok a čtete zprávy na technetu. To může znít jako sci-fi mnoha Vašim vrstevníkům! R^

+11/0
4.3.2017 7:49

J75a13n 54P12r98o42c32h90a66z65k72a 1337225669167

Děkuji za uznání, pane Kotale.

0/0
8.3.2017 3:13
Foto

M71i24r25o91s86l51a37v 11O95l61š13á66k 4380631888476

V pořádku, současný vývoj umělé inteligence zní jako sci-fi i mladým studentům jako jsem já :-) https://www.youtube.com/watch?v=dcZvhP-IqY4

+1/0
4.3.2017 15:40

M74i53c29h66a10e80l 86P91r92i38n35c 7385485570105

Chtělo by to trochu doplnit a opravit. Programátoři nepokořili poker, ale jen jednu jeho variantu, která se jmenuje heads-up.

Sami píší, že více hráčů neobehrají. Zajímavé to přesto je.

+1/0
3.3.2017 22:20
Foto

P49a75v84e17l 89K83a80s97í36k48, 11T58e50c95h74n92e37t76.27c97z

Texas Hold'em No Limit je jedna z nejtěžších variant (z pohledu AI), do titulku je to podle mého snesitelná zkratka.

0/0
3.3.2017 23:24

O79d91s98t15r89a37n33ě98n58ý 26U97ž62i47v60a62t89e53l

Uživatel požádal o vymazání
+5/0
3.3.2017 23:38

M56a98r63t92i54n 92S28c98h32m45i95d 8274449970612

Mate samozrejme pravdu - na druhou stranu chapu ze titulek ktery ma v nazvu "dvojhracovy bezlimitni texas hold'em poker se stackem 20,000 chipu a blindy 50/100" by byl nejpresnejsi, ale zabral by pulku monitoru a tedy nejaky kompromis redaktori museli zvolit :)

+5/0
3.3.2017 23:42

D31u58s30a57n 76K78r26i61v60s81k49y 7204495477203

No rikat, ze heads up je nejlehci, taky neni spravne. Pro program asi ano, ale ne pro cloveka. Kdyz si prumerny hrac sedne k treba deviti dalsim dobrymhracum a bude hrat hodne tight, nedopadne tak spatne jako proti dobremu hraci v heads upu.

0/0
3.3.2017 23:57

M89i42l83a49n 79K77o63c14i34s 1974794162678

To jo, ale jen na chvili... Prumerny hrac dlouhodobie nema sanci hrat proti dobrym hracum...

+2/0
4.3.2017 1:47

R90o36b80i23n 27Ž46i41ž87k39a 2148234736406

Tomu bych v dlouhém období nevěřil. Protože dobrý hráč ví stejně dobře, jak hrát u plného stolu jako u headsup, a příliš defenzivní hráč na to taky dojede. Možná to bude trvat dýl než ve dvou, ale ten rozdíl se pozná i tam.

0/0
4.3.2017 22:09

M46i12c21h15a82e77l 60P22r55i62n43c 7945275820665

Článek v Science píše o heads-upu, tak proč to nepíše technet? Jinak heads-up může být třeba v Pot Limit Omaha (PLO) nebo v desítkách dalších typů hry poker. https://en.wikipedia.org/wiki/List_of_poker_variants

Prosím, nezobecňujte, to dělají bulvární média.

0/0
5.3.2017 11:40

I54v95e58t96a 72S57o70c33h10o36r91o12v16a 6310594385704

Pokud nepokoří administrativu všeho druhu , tak posunuli poznání nepatrně .

0/0
3.3.2017 22:14

O49d40s60t92r29a25n11ě55n55ý 44U73ž47i27v10a62t73e43l

Uživatel požádal o vymazání
0/0
3.3.2017 21:19

D43u55s25a10n 81K75r77i21v78s89k75y 7534895957343

Jen se prizpusobi agresivni hre. Kdyz bude nekdo posilat All iny do malych potu, tak neni potreba ani zadny program, aby clovek byl dost plusovy. Tomu neni tezke se prizpusobit. Stovka her neni zadny vzorek, tam muze byt v plusu i nekdo kdo prakticky ani nezna pravidla i proti top hracum.

+1/0
3.3.2017 21:34

O71d28s76t52r16a60n75ě42n94ý 27U12ž35i59v61a18t91e49l

Uživatel požádal o vymazání
+4/0
3.3.2017 21:56

D42u86s25a81n 54K74r67i64v81s81k49y 7354355117643

O tom, ze je potreba ve velkem turnaji kopec stesti k vyhre, se nema cenu bavit, to zname asi vsichni, kdo jsme nekdy poker hrali:-). Ten program je staveny primarne na heads-upy, ale i pri turnaji predpokladam, ze by se mel prizpusobit optimalne agresivnimu hraci a spravne to vyhodnotit. Pokud by hral pouze "pri zdi" tak to neni idealni hra.

+1/0
3.3.2017 22:05

M48a48r75t98i32n20a 67D82v66o22ř30á82k78o50v28á 3594703960354

Pokud tou vyšší agresivitou snížíte celkový počet handů, máte podle mě vyšší šanci na výhru, náhoda a štěstí bude mít vyšší vliv. Čím větší počet her, tím pravděpodobněji ale vyhraje ten s optimálním výpočtem pravděpodobnosti (počítač). Také vás počítač pravděpodobně porazí vícekrát, než vy jeho. Pokud program sleduje chování soupeřů a přizpůsobuje se, bude nejlepší strategií pravidelně měnit výši agresivity.

0/0
3.3.2017 22:04

D21u12s80a51n 26K53r19i86v33s78k35y 7174695267473

Jasny, cim vice her, tim je obecne pravdepodobnost na strane toho lepsiho. Proto jsem drive, kdy jsem hral celkem dost, vymenil zive hry za online, kde clovek po vypaduti si muze pusit dalsi turnaj a muze jich hrat pripadne vice najednou.

Tady v tom pripade zas pokud bude delat clovek diky agresivite extremne spatne rozhodnuti, pocitac toho dokaze predpokladam dobre vyuzit. Jj s tou zmenou agresivity a obecne meneni hry je prave u lidi problem. Ze vetsina si myslim i nevedomky dela v urcitych situacich podobne kroky a pocitac, pokud bude mit uz dostatek dat, najde i male detaily a bude toho vyuzivat. Ale to mluvim o nejakem idealnim programu a nejsem ani presvedcen, ze tenhle to vse umi.

0/0
3.3.2017 22:14

O86d20s84t18r69a38n74ě14n57ý 68U34ž91i87v24a63t32e78l

Uživatel požádal o vymazání
+3/−1
3.3.2017 22:28

Najdete na iDNES.cz