Zdánlivě fatální selhání: Proč průzkumy předpovídaly Trumpův pád?

Ještě včera se zdál být výsledek amerických prezidentských voleb jasný. Průzkumy předpovídaly vítězství Clintonové se 70 až 85% jistotou. Realita však dopadla úplně jinak. Proč i ty osvědčené průzkumy tak fatálně selhaly?

„Při pohledu zpět vidí ostře každý,“ říká americké přísloví podobné tomu českému o generálech po bitvě. Stejně tak je snadné kritizovat chyby v předvolebních průzkumech po volbách. Překvapivé vítězství republikánského prezidentského kandidáta ovšem tyto otázky opět otevřelo. Proč se výzkumy tak výrazně mýlily?

Nepochopení procent Co vlastně říkaly průzkumy v den voleb?

Nejsledovanější průzkumy od FiveThirtyEight.com, HuffingtonPost a New York Times přisuzovaly v den voleb větší šance Clintonové, a to mezi 85 % a 71 %.

Model New York Times předpovídal 85% šanci vítězství Clintonové

FiveThirtyEight.com dávalo Trumpovi ani ne třetinovou šanci vyhrát

Připomeňme, že to nebyly předpovědi zisku hlasů, ale předpovědi šance na vítězství. V americkém volebním systému totiž prakticky nezáleží na celkovém výsledku voleb. Hlavní jsou výsledky v jednotlivých státech. Ten, kdo získá většinu v daném státě, „bere vše“, tedy získává všechny volitele za daný stát. Předpovědi celkového počtu hlasů k sobě měly mnohem blíže:

Shrnutí všech předvolebních průzkumů, ze kterých FiveThirtyEight.com vytvářelo výslednou předpověď

Řada lidí ovšem při pohledu na prohlášení typu „Clintonová má 80% šanci stát se prezidentkou“ získá představu, že má Clintonová drtivou převahu. „Přitom její vedení bylo v řadě států v rámci statistické odchylky,“ připomíná Michal Škop, programátor, matematik a spoluzakladatel projektu KohoVolit.eu. Podle něj nejde o výrazné selhání průzkumů jako takových: „Když se výzkumníci netrefili o tři procenta, tak to není až tak moc, ale v těchto volbách to díky specifickému americkému volebnímu systému znamenalo rozdíl mezi prohrou a výhrou kandidáta.“

Předpovědi FiveThirtyEight.com a (po volbách) zakroužkované skutečné výsledky

S tím souhlasí i Daniel Prokop, sociolog a šéf politického výzkumu z agentury MEDIAN: „Republikánům to vyhrál, podobně jako v roce 2000, americký volební systém.“ Odkazuje tak na fakt, že Clintonová i Trump dostali prakticky stejný počet hlasů (oba mírně přes 59 milionů), ale díky rozložení mezi různé státy je výsledný počet volitelů pro Trumpa výrazně vyšší.

„Nemyslím si, že je to úplné selhání výzkumů jako takových,“ dodává Prokop. „Otázkou spíše je, jestli ty výzkumy mohly být lépe vyhodnoceny. Já si myslím, že ano.“

Metodika průzkumů Chyběla práce s nerozhodnutými voliči

Odhlédněme na chvíli od volebních výsledků a pojďme se podívat, jak fungují předvolební průzkumy a jejich agregace:

1. Agentura vypíše průzkum, buď ve specifickém státě, nebo celonárodní.
2. Dotazovatelé buď telefonicky, osobně, nebo přes internet osloví vzorek obyvatelstva v dané populaci.
3. Analytik agentury data zpracuje tak, aby zohlednil podíl různých demografických skupin v populaci.
4. Agentura publikuje výsledky průzkumu (a obvykle i jeho metodiku).
5. Agregátor (například FiveThirtyEight.com) „oznámkuje“ průzkum podle jeho kvality a přiřadí mu „váhu“ a „zkreslení“ na základě předchozích zkušeností s daným typem průzkumu.
6. Agregátor spočítá celkový výsledek na základě desítek takových průzkumů v daném období.

V každém z těchto kroků se pracuje nejen s jasnými statistickými fakty, ale i s určitým metodologickým „know-how“. Agentury například musejí správně vyhodnotit, jak vyvážit odpovědi od různých skupin lidí či jak tyto skupiny vůbec definovat (muži/ženy, mladí/staří, zaměstnaní/nezaměstnaní atp.). „Zkušenosti z minula evidentně v tomto případě neodpovídaly realitě,“ myslí si Škop. „Firmy nedokázaly započítat něco, co naměřit šlo.“

Galerie předpovědí

Podle Prokopa je jedním z problémů velké části těchto průzkumů nedostatečná práce s jistotou voliče: „Řada těch agentur se dotazovaného zeptá, zda půjde k volbám, nebo ne. Ti, kteří půjdou, se dostanou do kategorie likely voters (pravděpodobní voliči) a agentura zkoumá, koho by volili. Ti, kteří odpoví, že k volbám spíše nepůjdou, ale nevylučují to, jsou z výsledků prakticky odříznuti. Přitom část z nich se třeba na Floridě zřejmě zúčastnila.“

Lepší, i když komplikovanější je podrobnější dotazování, které lze dále vyhodnocovat: „Kdyby se voličů zeptali, jak jisti jsou si účastí a s touto šancí počítali v modelu, bylo by to lepší.“

To podle Prokopa netýká jen účasti, ale i nerozhodnutých voličů. „Americké výzkumy je často odříznou a tím předpokládají, že se rozhodnou podobně jako ti, co už vědí, koho volit. Ale to tentokrát neplatilo – rozhodli se častěji pro Trumpa. My se například v našich průzkumech nerozhodnutých ptáme na míru příklonu ke stranám a k tomu přihlížíme.“ Takovýto „pravděpodobnostní model“ by prý umožnil lépe zachytit rozdílnou míru nejistoty mezi voliči Clintonové a Trumpa a také podchytit nerozhodnuté voliče.

Přeměřování nepomůže Průzkumy nejsou náhodná pozorování

Průzkumy předpovídaly, že Clintonová dostane přibližně o tři procentní body více hlasů než Trump, což by jí (vzhledem k rozložení mezi státy a následné přepočítání na volitele) zajistilo relativně jisté vítězství. Z těchto předpovědí a z průzkumů přímo u volebních místností (tzv. exit polls) pak vycházely také předpovědi těsně po volbách, kdy se začaly počítat hlasy po celých Spojených státech. Následující graf mapující aktuální predikce New York Times dobře ukazuje šok, který řada prognostiků utrpěla pod návalem reálných dat z volebních místností:

Jak se během noci měnily předpovědi New York Times (volitelé)

Z grafu je zřejmé, že reálný výsledek ležel na samé hranici nejistoty (práh 5 %) a bylo to tedy výrazné překvapení. Ještě lépe je to vidět u grafu, na kterém New York Times (citovaný mj. i Českou televizí) předpovídá v danou chvíli šance kandidátů na vítězství. Prakticky během tří hodin došlo nad naším ránem k úplnému přehodnocení výsledné předpovědi.

Jak se během noci měnily předpovědi New York Times

To podle Dana Prokopa může ukazovat i na to, že v prováděných průzkumech byla nějaká systémová chyba, specifická pro tyto volby. „Agregátory průzkumů pracují s podobnými daty, ale jinak je ladí. Pokud je tam systematický posun v těch zdrojových datech, pak je těžké ji odfiltrovat,“ vysvětlil nám sociolog. „Je asi potřeba detailnější analýza metodiky jednotlivých průzkumů, která by redukovala jejich případné vychýlení. Nikoli jen vážení agentur podle hrubých parametrů jako je velikost vzorku apod.“

Nate Silver, jeden z nejpopulárnějších prognostiků amerických voleb (viz rámeček), například upozornil na to, že americké státy nejsou na sobě nezávislé. „Existuje velká korelace mezi jednotlivými státy, takže chyby v jednom státě budou nejspíš napodobeny v dalších, podobných státech.“

Jednotlivé průzkumy nejsou nezávislá měření. Často mají stejnou metodiku, a tedy i stejnou systémovou chybu

„Je to problém i uvnitř státu, když považujete průzkumy za zcela nezávislá měření,“ říká Prokop. Je podle něj dobré se dívat, zda se neshodují díky tomu, že k tomu přistupují stejně metodicky. „Když se shoduje metodika, je velká pravděpodobnost, že dvě kvalitní agentury dojdou ve stejném čase ke stejnému výsledku. Dnes existují v ČR tři modely, které dávají dvouciferný náskok ANO. Ale je to mimo jiné proto, že všechny vychází ze spontánní otázky. Podobné to je v USA, kde všichni opakují podobnou definici „likely voters“ a odřezávají nerozhodnuté,“ říká Prokop.

Je to, jako kdyby více agentur používalo k měření pravítko od stejné firmy. Špatné pravítko bude dávat stejné výsledky a tím zdánlivě potvrzovat měření ostatních agentur. Ve skutečnosti ale měření (a následné předpovědi) zkresluje. A to navíc u všech agentur. Americké predikční weby podle Prokopa tuto provázanost podcenily a považovaly svoje odhady za jistější, než ve skutečnosti byly.

Co konkrétně mohlo zkreslit měření? Zatím pro to nemáme přesné podklady, toto jsou tedy spíše spekulace, které bude nutno později ověřit na tvrdých číslech:

• Stydlivost voličů - též Bradleyho efekt. Označuje situaci, kdy dotázaný nechce z nějakého důvodu přiznat své skutečné preference. V případě Donalda Trumpa lze spekulovat například o tom, že vzdělaní muži se nechtěli v telefonickém či osobním dotazování přiznávat k volbě Trumpa. „Proto si také Trump vedl lépe v počítačových on-line výzkumech, kde mají lidé větší pocit soukromí,“ říká Prokop. Stejně tak se mohly například ženy před ostatními ženami stydět za to, že by podporovaly Trumpa. Nebo, jak říká manažerka Trumpovy kampaně: „Nestyděli se, ale už je nebavilo hádat se o politice.“
• Volání na pevné linky - Řada dotazování probíhá pomocí volání na pevné linky, ale většina lidí už pevné linky nepoužívá. Přestože to agentury vědí a snaží se tento rozpor odfiltrovat, může mít vliv v případě, že se tyto skupiny (pracující vs. v domácnosti) výrazně liší v názoru na kandidáty.
• Neschopnost vyvážit město a venkov - Při vzorkování může být problém správně vyvážit voliče z měst a z venkova.
• Malá návratnost - Tazatelům odpovídá v USA na dotazy velmi malá část lidí (cca 2 až 10 %), a výzkumná agentura proto musí složitě dopočítávat, zda je ta skupina, která odpověděla, nějak odlišná od té, která neodpověděla. Je možné spekulovat, že voliči Donalda Trumpa (který opakovaně mluvil o tom, jak průzkumům není radno věřit) měli mírně menší zájem na tom v průzkumech odpovídat.
• Stranické preference - Průzkumy se často zaměřily na osobnost kandidáta, zatímco v USA velká část voličů volí podle stranické příslušnosti takřka bez ohledu na aktuálního kandidáta. V americkém systému totiž prezident stojí v čele vlády, a voliči tedy volí nejen prezidenta.

Je dokonce možné, že samotné předvolební průzkumy se nějakým způsobem podepsaly na výsledku: „Od demokratů zaznívalo, že už mají výhru díky hlasování v předtermínu a predikované převaze v klíčových takřka jistou,“ připomíná Prokop. „Díky tomu mohla vypadnout účast lidí, kteří by volili proti Trumpovi, ale Hillary nemilují.“ Volební průzkumy zkrátka mohly snížit motivaci voličů, kteří chtěli zastavit Trumpa, ale díky pozitivním predikcím měli pocit, že už jejich hlas není potřeba, zatímco Trumpovi voliči byli o to motivovanější.

Ačkoli samotný Trump opakovaně vyzýval voliče, aby nevěřili výzkumům (ukázalo se, že měl pravdu), Trumpova kampaň se rozhodně výzkumy řídila. Na poslední chvíli - tedy v posledních dvou dnech před volbami, objel Trump neuvěřitelných deset států ve třech časových pásmech, aby zde těsně před volebním dnem vyburcoval voliče. Zaznamenali jsme tyto zastávky (vyznačen je stát, nikoli město) na mapu prognóz a mapu volebních výsledků:

Vlevo mapa s prognózami, vpravo mapa s volebními výsledky, žlutě označené státy, kde Trump promluvil k voličům těsně před volbami

„Sám Trump dělal kampaň právě a jen v těch státech, které rozhodly. Jak to věděl? Díky průzkumům,“ domnívá se Michal Škop. Zdaleka ne ve všech státech, které na poslední chvíli navštívil, uspěl, ale na vítězství to stačílo. Nejdůležitější byly v tomto ohledu Florida, Pennsylvánie a Severní Karolína. Ve všech těchto státech měla podle prognóz mírný náskok Clintonová. „Republikáni dotáhli Demokraty v práci s daty,“ myslí si Škop. „S tím, co známe z Česka, je to nesrovnatelné.“

Poučení? Počítat s nejistotou a statistickými odchylkami

Odborníci se shodují na tom, že průzkumy sice selhaly, ale nebylo to selhání výrazné. V praxi se výzkumy strefily v rozmezí několika procent. „Je to systematická chyba, ale nikterak významná. V takto těsných volbách ale i dvě tři procenta v klíčových státech znamenala odlišný výsledek voleb,“ uzavírá Daniel Prokop a dodává: „Nevím, jestli je to selhání těch agentur, nebo spíše lidí, kteří na základě výzkumů vytvářejí prognózy.“ Podle Prokopa je důležité, aby se lidé naučili s těmito průzkumy lépe zacházet v kontextu jejich vzniku a nepřeceňovat jejich predikční sílu.

Úspěšná předpověď

Profesor historie Allan Lichtman předpověděl podeváté výsledek voleb. Nepotřeboval k tomu ale výsledky výzkumů...

Do budoucna se pak bude zřejmě řešit především to, jak výzkumy (nejen ty předvolební) do budoucna zlepšit. Zatímco v ostatních oblastech (například v marketingovém průzkumu) je rozdíl několika procent naprosto zanedbatelný, v případě amerických voleb rozhodují o vítězi právě tato procenta.

„Nějaká chyba tam bude vždycky,“ připomíná Michal Škop. „I kdyby se všechno udělalo nejlépe, jak jde, tak tam nějaká chyba bude.“ Proto je potřeba u průzkumů pracovat se statistickými odchylkami. Jediným spolehlivým průzkumem veřejného mínění, jak praví klasický bonmot, jsou ostatně právě volby samotné.

Jak si vedl nejslavnější „věštec“

Jedním z vítězů minulých amerických prezidentských voleb roku 2012 byl (nejen podle našeho článku) Nate Silver. Statistik, který v té době vedl blog nazvaný FiveThirtyEight na New York Times, předpověděl výsledky voleb s přesností, která laickou veřejnost překvapila. Týkalo se to nejen samotné prezidentské volby, která nakonec v roce 2012 byla méně těsná, než se předpovídala, ale i voleb v jednotlivých státech, kde jeho předpověď vyšla stoprocentně: vyhrálo 50 z 50 kandidátů, které jeho předpovědní model favorizoval.

Nebyl to samozřejmě Silverův první úspěch, do NY Times se dostal poté, co jeho předpovědi uspěly v roce 2008. Nedělal vlastní průzkumy, vytváří jen statistické modely založené na údajích z průzkumů. Jeho práce spočívá především ve výběru dat, které do něj zařadit podle jejich důvěryhodnosti, spolehlivosti a dalších měřítek. Silver vážil jednotlivé průzkumy na základě historických výkonů těch, kdo je pořizovali – v podstatě je posuzoval jako hráče baseballu, pro který vytvářel statistické modely předtím.

V roce 2012 nebyl Silver rozhodně jediný, kdo výsledek odhadl, ale díky své relativní známosti a možná i jiným faktorům (býval sázkařem a profesionálním hráčem pokeru, takže měl zajímavou minulost) se stal symbolem předpokládané „statistické revoluce“. Odešel z NY Times, a jeho blog koupila společnost ESPN, specializující se na sportovní přenosy. Od té doby se tým kolem FiveThirtyEight.com (čili 538, což je počet volitelů prezidenta USA) rozrostl na zhruba 45 lidí a kromě politiky pokrývá ve velkém i sportovní statistiky. Před prezidentskými volbami se ale znovu stal častým místem návštěv pro všechny zájemce o volební předpovědi.

Silver a spol. nabízel několik možných modelů, které braly či naopak nebraly v potaz historická data, ekonomické údaje, demografické údaje atp. Jejich hlavním výsledkem bylo „jediné číslo“, procentuální hodnota, která udávala pravděpodobnost vítězství toho či onoho kandidáta v procentech. Jak je jasné z připojeného grafu, výsledky výrazně kolísaly, ale obecně řečeno dávaly v kontextu jiných průzkumů nezvykle velkou šanci Donaldu Trumpovi.

Vývoj předpovědního modelu FiveThirtyEight.com od června do listopadu 2016

Vítězství jeho protivnice bylo stále podle výsledků modelu výrazně pravděpodobnější, ale chyba není tak veliká, jak by se mohlo z pohledu na procentuální hodnotu (71,4:28,6) zdát.

Zhruba týden před volbami, kdy už model dával tento výsledek, Silver napsal, že výsledky jsou v rámci běžné nepřesnosti průzkumů (náskok Clintonové byl v té době zhruba kolem tří procent): „Pokud Clintonová vyhraje o tři procenta, s velkou pravděpodobností vyhraje Bílý dům. Ale je to středně velké „pokud“.“ Poznámka byla ovšem na konci dlouhého textu, jehož přečtení trvalo podstatně déle než jeden pohled na procentuální hodnoty. Alespoň z části tak možná překvapení výsledku alespoň z části nepadá na statistiky, ale na samotné čtenáře.

Aktualizace: Do článku jsme doplnili údaje o průzkumech a jejich využití.