Čtvrtek 21. ledna 2021, svátek má Běla
  • schránka
  • Přihlásit Můj účet
  • Čtvrtek 21. ledna 2021 Běla

Zdánlivě fatální selhání: Proč průzkumy předpovídaly Trumpův pád?

  19:07aktualizováno  23:18
Ještě včera se zdál být výsledek amerických prezidentských voleb jasný. Průzkumy předpovídaly vítězství Clintonové se 70 až 85% jistotou. Realita však dopadla úplně jinak. Proč i ty osvědčené průzkumy tak fatálně selhaly?

Proč byl výsledek amerických prezidentských voleb v listopadu 2016 tak překvapivý? | foto: montáž: Pavel Kasík - Technet.czProfimedia.cz

„Při pohledu zpět vidí ostře každý,“ říká americké přísloví podobné tomu českému o generálech po bitvě. Stejně tak je snadné kritizovat chyby v předvolebních průzkumech po volbách. Překvapivé vítězství republikánského prezidentského kandidáta ovšem tyto otázky opět otevřelo. Proč se výzkumy tak výrazně mýlily?

Nepochopení procentCo vlastně říkaly průzkumy v den voleb?

Nejsledovanější průzkumy od FiveThirtyEight.com, HuffingtonPost a New York Times přisuzovaly v den voleb větší šance Clintonové, a to mezi 85 % a 71 %.

Model New York Times předpovídal 85% šanci vítězství Clintonové.

Model New York Times předpovídal 85% šanci vítězství Clintonové

FiveThirtyEight.com dávalo Trumpovi ani ne třetinovou šanci vyhrát.

FiveThirtyEight.com dávalo Trumpovi ani ne třetinovou šanci vyhrát

Připomeňme, že to nebyly předpovědi zisku hlasů, ale předpovědi šance na vítězství. V americkém volebním systému totiž prakticky nezáleží na celkovém výsledku voleb. Hlavní jsou výsledky v jednotlivých státech. Ten, kdo získá většinu v daném státě, „bere vše“, tedy získává všechny volitele za daný stát. Předpovědi celkového počtu hlasů k sobě měly mnohem blíže:

Shrnutí všech předvolebních průzkumů, ze kterých FiveThirtyEight.com vytvářelo...

Shrnutí všech předvolebních průzkumů, ze kterých FiveThirtyEight.com vytvářelo výslednou předpověď

Řada lidí ovšem při pohledu na prohlášení typu „Clintonová má 80% šanci stát se prezidentkou“ získá představu, že má Clintonová drtivou převahu. „Přitom její vedení bylo v řadě států v rámci statistické odchylky,“ připomíná Michal Škop, programátor, matematik a spoluzakladatel projektu KohoVolit.eu. Podle něj nejde o výrazné selhání průzkumů jako takových: „Když se výzkumníci netrefili o tři procenta, tak to není až tak moc, ale v těchto volbách to díky specifickému americkému volebnímu systému znamenalo rozdíl mezi prohrou a výhrou kandidáta.“

Předpovědi FiveThirtyEight.com a (po volbách) zakroužkované skutečné výsledky

Předpovědi FiveThirtyEight.com a (po volbách) zakroužkované skutečné výsledky

S tím souhlasí i Daniel Prokop, sociolog a šéf politického výzkumu z agentury MEDIAN: „Republikánům to vyhrál, podobně jako v roce 2000, americký volební systém.“ Odkazuje tak na fakt, že Clintonová i Trump dostali prakticky stejný počet hlasů (oba mírně přes 59 milionů), ale díky rozložení mezi různé státy je výsledný počet volitelů pro Trumpa výrazně vyšší.

„Nemyslím si, že je to úplné selhání výzkumů jako takových,“ dodává Prokop. „Otázkou spíše je, jestli ty výzkumy mohly být lépe vyhodnoceny. Já si myslím, že ano.“

Metodika průzkumůChyběla práce s nerozhodnutými voliči

Odhlédněme na chvíli od volebních výsledků a pojďme se podívat, jak fungují předvolební průzkumy a jejich agregace:

  1. Agentura vypíše průzkum, buď ve specifickém státě, nebo celonárodní.
  2. Dotazovatelé buď telefonicky, osobně, nebo přes internet osloví vzorek obyvatelstva v dané populaci.
  3. Analytik agentury data zpracuje tak, aby zohlednil podíl různých demografických skupin v populaci.
  4. Agentura publikuje výsledky průzkumu (a obvykle i jeho metodiku).
  5. Agregátor (například FiveThirtyEight.com) „oznámkuje“ průzkum podle jeho kvality a přiřadí mu „váhu“ a „zkreslení“ na základě předchozích zkušeností s daným typem průzkumu.
  6. Agregátor spočítá celkový výsledek na základě desítek takových průzkumů v daném období.

V každém z těchto kroků se pracuje nejen s jasnými statistickými fakty, ale i s určitým metodologickým „know-how“. Agentury například musejí správně vyhodnotit, jak vyvážit odpovědi od různých skupin lidí či jak tyto skupiny vůbec definovat (muži/ženy, mladí/staří, zaměstnaní/nezaměstnaní atp.). „Zkušenosti z minula evidentně v tomto případě neodpovídaly realitě,“ myslí si Škop. „Firmy nedokázaly započítat něco, co naměřit šlo.“

Galerie předpovědí

Podle Prokopa je jedním z problémů velké části těchto průzkumů nedostatečná práce s jistotou voliče: „Řada těch agentur se dotazovaného zeptá, zda půjde k volbám, nebo ne. Ti, kteří půjdou, se dostanou do kategorie likely voters (pravděpodobní voliči) a agentura zkoumá, koho by volili. Ti, kteří odpoví, že k volbám spíše nepůjdou, ale nevylučují to, jsou z výsledků prakticky odříznuti. Přitom část z nich se třeba na Floridě zřejmě zúčastnila.“

Lepší, i když komplikovanější je podrobnější dotazování, které lze dále vyhodnocovat: „Kdyby se voličů zeptali, jak jisti jsou si účastí a s touto šancí počítali v modelu, bylo by to lepší.“

To podle Prokopa netýká jen účasti, ale i nerozhodnutých voličů. „Americké výzkumy je často odříznou a tím předpokládají, že se rozhodnou podobně jako ti, co už vědí, koho volit. Ale to tentokrát neplatilo – rozhodli se častěji pro Trumpa. My se například v našich průzkumech nerozhodnutých ptáme na míru příklonu ke stranám a k tomu přihlížíme.“ Takovýto „pravděpodobnostní model“ by prý umožnil lépe zachytit rozdílnou míru nejistoty mezi voliči Clintonové a Trumpa a také podchytit nerozhodnuté voliče.

Přeměřování nepomůžePrůzkumy nejsou náhodná pozorování

Průzkumy předpovídaly, že Clintonová dostane přibližně o tři procentní body více hlasů než Trump, což by jí (vzhledem k rozložení mezi státy a následné přepočítání na volitele) zajistilo relativně jisté vítězství. Z těchto předpovědí a z průzkumů přímo u volebních místností (tzv. exit polls) pak vycházely také předpovědi těsně po volbách, kdy se začaly počítat hlasy po celých Spojených státech. Následující graf mapující aktuální predikce New York Times dobře ukazuje šok, který řada prognostiků utrpěla pod návalem reálných dat z volebních místností:

Jak se během noci měnily předpovědi New York Times (volitelé).

Jak se během noci měnily předpovědi New York Times (volitelé)

Z grafu je zřejmé, že reálný výsledek ležel na samé hranici nejistoty (práh 5 %) a bylo to tedy výrazné překvapení. Ještě lépe je to vidět u grafu, na kterém New York Times (citovaný mj. i Českou televizí) předpovídá v danou chvíli šance kandidátů na vítězství. Prakticky během tří hodin došlo nad naším ránem k úplnému přehodnocení výsledné předpovědi.

Jak se během noci měnily předpovědi New York Times.

Jak se během noci měnily předpovědi New York Times

To podle Dana Prokopa může ukazovat i na to, že v prováděných průzkumech byla nějaká systémová chyba, specifická pro tyto volby. „Agregátory průzkumů pracují s podobnými daty, ale jinak je ladí. Pokud je tam systematický posun v těch zdrojových datech, pak je těžké ji odfiltrovat,“ vysvětlil nám sociolog. „Je asi potřeba detailnější analýza metodiky jednotlivých průzkumů, která by redukovala jejich případné vychýlení. Nikoli jen vážení agentur podle hrubých parametrů jako je velikost vzorku apod.“

Nate Silver, jeden z nejpopulárnějších prognostiků amerických voleb (viz rámeček), například upozornil na to, že americké státy nejsou na sobě nezávislé. „Existuje velká korelace mezi jednotlivými státy, takže chyby v jednom státě budou nejspíš napodobeny v dalších, podobných státech.“

Jednotlivé průzkumy nejsou nezávislá měření. Často mají stejnou metodiku, a tedy i stejnou systémovou chybu

„Je to problém i uvnitř státu, když považujete průzkumy za zcela nezávislá měření,“ říká Prokop. Je podle něj dobré se dívat, zda se neshodují díky tomu, že k tomu přistupují stejně metodicky. „Když se shoduje metodika, je velká pravděpodobnost, že dvě kvalitní agentury dojdou ve stejném čase ke stejnému výsledku. Dnes existují v ČR tři modely, které dávají dvouciferný náskok ANO. Ale je to mimo jiné proto, že všechny vychází ze spontánní otázky. Podobné to je v USA, kde všichni opakují podobnou definici „likely voters“ a odřezávají nerozhodnuté,“ říká Prokop.

Je to, jako kdyby více agentur používalo k měření pravítko od stejné firmy. Špatné pravítko bude dávat stejné výsledky a tím zdánlivě potvrzovat měření ostatních agentur. Ve skutečnosti ale měření (a následné předpovědi) zkresluje. A to navíc u všech agentur. Americké predikční weby podle Prokopa tuto provázanost podcenily a považovaly svoje odhady za jistější, než ve skutečnosti byly.

Co konkrétně mohlo zkreslit měření? Zatím pro to nemáme přesné podklady, toto jsou tedy spíše spekulace, které bude nutno později ověřit na tvrdých číslech:

  • Stydlivost voličů - též Bradleyho efekt. Označuje situaci, kdy dotázaný nechce z nějakého důvodu přiznat své skutečné preference. V případě Donalda Trumpa lze spekulovat například o tom, že vzdělaní muži se nechtěli v telefonickém či osobním dotazování přiznávat k volbě Trumpa. „Proto si také Trump vedl lépe v počítačových on-line výzkumech, kde mají lidé větší pocit soukromí,“ říká Prokop. Stejně tak se mohly například ženy před ostatními ženami stydět za to, že by podporovaly Trumpa. Nebo, jak říká manažerka Trumpovy kampaně: „Nestyděli se, ale už je nebavilo hádat se o politice.“
  • Volání na pevné linky - Řada dotazování probíhá pomocí volání na pevné linky, ale většina lidí už pevné linky nepoužívá. Přestože to agentury vědí a snaží se tento rozpor odfiltrovat, může mít vliv v případě, že se tyto skupiny (pracující vs. v domácnosti) výrazně liší v názoru na kandidáty.
  • Neschopnost vyvážit město a venkov - Při vzorkování může být problém správně vyvážit voliče z měst a z venkova.
  • Malá návratnost - Tazatelům odpovídá v USA na dotazy velmi malá část lidí (cca 2 až 10 %), a výzkumná agentura proto musí složitě dopočítávat, zda je ta skupina, která odpověděla, nějak odlišná od té, která neodpověděla. Je možné spekulovat, že voliči Donalda Trumpa (který opakovaně mluvil o tom, jak průzkumům není radno věřit) měli mírně menší zájem na tom v průzkumech odpovídat.
  • Stranické preference - Průzkumy se často zaměřily na osobnost kandidáta, zatímco v USA velká část voličů volí podle stranické příslušnosti takřka bez ohledu na aktuálního kandidáta. V americkém systému totiž prezident stojí v čele vlády, a voliči tedy volí nejen prezidenta.

Je dokonce možné, že samotné předvolební průzkumy se nějakým způsobem podepsaly na výsledku: „Od demokratů zaznívalo, že už mají výhru díky hlasování v předtermínu a predikované převaze v klíčových takřka jistou,“ připomíná Prokop. „Díky tomu mohla vypadnout účast lidí, kteří by volili proti Trumpovi, ale Hillary nemilují.“ Volební průzkumy zkrátka mohly snížit motivaci voličů, kteří chtěli zastavit Trumpa, ale díky pozitivním predikcím měli pocit, že už jejich hlas není potřeba, zatímco Trumpovi voliči byli o to motivovanější.

Ačkoli samotný Trump opakovaně vyzýval voliče, aby nevěřili výzkumům (ukázalo se, že měl pravdu), Trumpova kampaň se rozhodně výzkumy řídila. Na poslední chvíli - tedy v posledních dvou dnech před volbami, objel Trump neuvěřitelných deset států ve třech časových pásmech, aby zde těsně před volebním dnem vyburcoval voliče. Zaznamenali jsme tyto zastávky (vyznačen je stát, nikoli město) na mapu prognóz a mapu volebních výsledků:

Mapa volebních prognóz s vyznačenými místy posledních Trumpových zastávek
Mapa volebních výsledků s vyznačenými místy posledních Trumpových zastávek

Vlevo mapa s prognózami, vpravo mapa s volebními výsledky, žlutě označené státy, kde Trump promluvil k voličům těsně před volbami

„Sám Trump dělal kampaň právě a jen v těch státech, které rozhodly. Jak to věděl? Díky průzkumům,“ domnívá se Michal Škop. Zdaleka ne ve všech státech, které na poslední chvíli navštívil, uspěl, ale na vítězství to stačílo. Nejdůležitější byly v tomto ohledu Florida, Pennsylvánie a Severní Karolína. Ve všech těchto státech měla podle prognóz mírný náskok Clintonová. „Republikáni dotáhli Demokraty v práci s daty,“ myslí si Škop. „S tím, co známe z Česka, je to nesrovnatelné.“

Poučení?Počítat s nejistotou a statistickými odchylkami

Odborníci se shodují na tom, že průzkumy sice selhaly, ale nebylo to selhání výrazné. V praxi se výzkumy strefily v rozmezí několika procent. „Je to systematická chyba, ale nikterak významná. V takto těsných volbách ale i dvě tři procenta v klíčových státech znamenala odlišný výsledek voleb,“ uzavírá Daniel Prokop a dodává: „Nevím, jestli je to selhání těch agentur, nebo spíše lidí, kteří na základě výzkumů vytvářejí prognózy.“ Podle Prokopa je důležité, aby se lidé naučili s těmito průzkumy lépe zacházet v kontextu jejich vzniku a nepřeceňovat jejich predikční sílu.

Úspěšná předpověď

Profesor historie Allan Lichtman předpověděl podeváté výsledek voleb. Nepotřeboval k tomu ale výsledky výzkumů...

Do budoucna se pak bude zřejmě řešit především to, jak výzkumy (nejen ty předvolební) do budoucna zlepšit. Zatímco v ostatních oblastech (například v marketingovém průzkumu) je rozdíl několika procent naprosto zanedbatelný, v případě amerických voleb rozhodují o vítězi právě tato procenta.

„Nějaká chyba tam bude vždycky,“ připomíná Michal Škop. „I kdyby se všechno udělalo nejlépe, jak jde, tak tam nějaká chyba bude.“ Proto je potřeba u průzkumů pracovat se statistickými odchylkami. Jediným spolehlivým průzkumem veřejného mínění, jak praví klasický bonmot, jsou ostatně právě volby samotné.

Jak si vedl nejslavnější „věštec“

Jedním z vítězů minulých amerických prezidentských voleb roku 2012 byl (nejen podle našeho článku) Nate Silver. Statistik, který v té době vedl blog nazvaný FiveThirtyEight na New York Times, předpověděl výsledky voleb s přesností, která laickou veřejnost překvapila. Týkalo se to nejen samotné prezidentské volby, která nakonec v roce 2012 byla méně těsná, než se předpovídala, ale i voleb v jednotlivých státech, kde jeho předpověď vyšla stoprocentně: vyhrálo 50 z 50 kandidátů, které jeho předpovědní model favorizoval.

Nebyl to samozřejmě Silverův první úspěch, do NY Times se dostal poté, co jeho předpovědi uspěly v roce 2008. Nedělal vlastní průzkumy, vytváří jen statistické modely založené na údajích z průzkumů. Jeho práce spočívá především ve výběru dat, které do něj zařadit podle jejich důvěryhodnosti, spolehlivosti a dalších měřítek. Silver vážil jednotlivé průzkumy na základě historických výkonů těch, kdo je pořizovali – v podstatě je posuzoval jako hráče baseballu, pro který vytvářel statistické modely předtím.

V roce 2012 nebyl Silver rozhodně jediný, kdo výsledek odhadl, ale díky své relativní známosti a možná i jiným faktorům (býval sázkařem a profesionálním hráčem pokeru, takže měl zajímavou minulost) se stal symbolem předpokládané „statistické revoluce“. Odešel z NY Times, a jeho blog koupila společnost ESPN, specializující se na sportovní přenosy. Od té doby se tým kolem FiveThirtyEight.com (čili 538, což je počet volitelů prezidenta USA) rozrostl na zhruba 45 lidí a kromě politiky pokrývá ve velkém i sportovní statistiky. Před prezidentskými volbami se ale znovu stal častým místem návštěv pro všechny zájemce o volební předpovědi.

Silver a spol. nabízel několik možných modelů, které braly či naopak nebraly v potaz historická data, ekonomické údaje, demografické údaje atp. Jejich hlavním výsledkem bylo „jediné číslo“, procentuální hodnota, která udávala pravděpodobnost vítězství toho či onoho kandidáta v procentech. Jak je jasné z připojeného grafu, výsledky výrazně kolísaly, ale obecně řečeno dávaly v kontextu jiných průzkumů nezvykle velkou šanci Donaldu Trumpovi.

Vývoj předpovědního modelu FiveThirtyEight.com od června do listopadu 2016

Vývoj předpovědního modelu FiveThirtyEight.com od června do listopadu 2016

Vítězství jeho protivnice bylo stále podle výsledků modelu výrazně pravděpodobnější, ale chyba není tak veliká, jak by se mohlo z pohledu na procentuální hodnotu (71,4:28,6) zdát.

Zhruba týden před volbami, kdy už model dával tento výsledek, Silver napsal, že výsledky jsou v rámci běžné nepřesnosti průzkumů (náskok Clintonové byl v té době zhruba kolem tří procent): „Pokud Clintonová vyhraje o tři procenta, s velkou pravděpodobností vyhraje Bílý dům. Ale je to středně velké „pokud“.“ Poznámka byla ovšem na konci dlouhého textu, jehož přečtení trvalo podstatně déle než jeden pohled na procentuální hodnoty. Alespoň z části tak možná překvapení výsledku alespoň z části nepadá na statistiky, ale na samotné čtenáře.

Aktualizace: Do článku jsme doplnili údaje o průzkumech a jejich využití.

Autoři:
  • Nejčtenější

Android TV mizí z televizorů. Podívejte se, co jej letos mnohde nahradí

Operačnímu systému Android TV zřejmě začíná poslední sezóna. Jak se ukázalo na veletrhu CES 2021, již letošní novinky...

Válka v jednom čísle. Jak Sověti na papíře vyhráli nad Západem

Sověti vyvinuli na přelomu 60. a 70. let analytickou metodu, která měla umožnit snadné srovnání vojenské techniky...

Rezervace očkování je plná zbytečných chyb. Způsobila i pád celého systému

Státní web na rezervaci očkování proti covidu-19 byl plný úplně základních chyb a zbytečných komplikací. Navíc začal...

Čest, talent i služba Hitlerovi. Nejlepší tankista války byl z Jesenicka

Během druhé světové války vznikla po vzoru leteckých es nová kasta es tankových. Patrně nejlepším tankistou 2. světové...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Operaci Pouštní bouře zahájily vrtulníky US Army úderem na radary

První letecký úder proti Iráku neprovedly před třiceti lety „neviditelné bombardéry“ USAF, ale vrtulníky Apache US...

Kdo staví vilu na Babě? Muž s vazbami na sponzory Zemanovy kampaně

Premium Nová prosklená vila na vrchu Baba v Praze budí zájem místních i turistů. Dům patří firmě Luboše Paška, který je...

Ano, Češi byli nejlepší! říká zámořský expert o časech, kdy i Kanada žárlila

Premium Omlouvá se při vzpomínce na nezdar Pavla Patery v Dallasu. Zápasy proti Buffalu s Dominikem Haškem v brance přirovnává...

TEST olejů: nejhorší je kokosový, zdravější je i sádlo

Premium Na smažení a fritování, do salátů, omáček i dresinků... Do velkého srovnání olejů a tuků jsme vybrali dvacet výrobků....

  • Další z rubriky

ROZSTŘEL: Česko je v nanotechnologiích na špici. Ale co z toho bude?

Nová chrupavka pro vaše bolavá kolena či kůže pro pacienty s popáleninami. To jsou cíle, na kterých pracuje český...

Odvážný covidový experiment. Vědci navrhují očkování jednou dávkou

Mohla by stačit jedna dávka vakcíny místo dvou? Známý kritik amerického přístupu ke zvládnutí pandemie navrhuje...

STO OBJEVŮ: Velká hrášková revoluce v Brně změnila pohled na genetiku

Seriál Objev zákonitostí dědičnosti se řadí k milníkům v historii vědy. Muž, který položil základy genetice, se jmenoval...

Pochoutky z hladu. Některé kulinářské „hity“ mají zvláštní historii

Quinou nebo špagety z řas doporučují nutriční poradci i průkopníci zdravé bio výživy. Přitom ve své domovině se ještě...

SOUTĚŽ: Celoroční prémiové členství u Fitshakeru a cvičební diář k tomu
SOUTĚŽ: Celoroční prémiové členství u Fitshakeru a cvičební diář k tomu

Zapojte se do soutěže o prémiové členství a cvičte tak po celý rok zcela zdarma. Výherci navíc dostanou jako bonusový dárek speciální cvičební diář...

Vytetovaná sexuální instrukce zaráží i mého gynekologa, líčila dívka

Nesedí k ní, ale onen vulgární sexuální povel má na podbřišku opravdu vytetovaný. Vznikl jako rozpustilá, hrdá,...

Analytik: Evropa byla od blackoutu setiny. Bez ČR by to Rakousko nezvládlo

8. leden 2021 se mohl stát skutečným „černým dnem”. Evropě totiž hrozil blackout, tedy masivní výpadek dodávek...

Dalibor Janda leží ve vážném stavu v nemocnici na koronární jednotce

Dalibor Janda (67) byl hospitalizován v pražské Fakultní nemocnici Královské Vinohrady. Zpěvák leží ve vážném stavu na...

PŘEHLEDNĚ: Od ledna kartou online postaru nezaplatíte. Jaké podmínky má vaše banka?

Otisk prstu či scan obličeje při placení kartou na internetu již dávno není sci-fi. Možná je po vás vaše banka chce...

Bezplatné jezdění po dálnici? Elektronické známky téměř nikdo nehlídá

Premium Druhý týden platí na českých dálnicích novinka v­ podobě elektronické dálniční známky. Zatímco lidé takzvané viněty...