Neděle 2. října 2022, svátek má Olívie, Oliver
  • schránka
  • Přihlásit Můj účet
  • Neděle 2. října 2022 Olívie, Oliver

Zdánlivě fatální selhání: Proč průzkumy předpovídaly Trumpův pád?

  19:07aktualizováno  23:18
Ještě včera se zdál být výsledek amerických prezidentských voleb jasný. Průzkumy předpovídaly vítězství Clintonové se 70 až 85% jistotou. Realita však dopadla úplně jinak. Proč i ty osvědčené průzkumy tak fatálně selhaly?

Proč byl výsledek amerických prezidentských voleb v listopadu 2016 tak překvapivý? | foto: montáž: Pavel Kasík - Technet.czProfimedia.cz

„Při pohledu zpět vidí ostře každý,“ říká americké přísloví podobné tomu českému o generálech po bitvě. Stejně tak je snadné kritizovat chyby v předvolebních průzkumech po volbách. Překvapivé vítězství republikánského prezidentského kandidáta ovšem tyto otázky opět otevřelo. Proč se výzkumy tak výrazně mýlily?

Nepochopení procent Co vlastně říkaly průzkumy v den voleb?

Nejsledovanější průzkumy od FiveThirtyEight.com, HuffingtonPost a New York Times přisuzovaly v den voleb větší šance Clintonové, a to mezi 85 % a 71 %.

Model New York Times předpovídal 85% šanci vítězství Clintonové

FiveThirtyEight.com dávalo Trumpovi ani ne třetinovou šanci vyhrát

Připomeňme, že to nebyly předpovědi zisku hlasů, ale předpovědi šance na vítězství. V americkém volebním systému totiž prakticky nezáleží na celkovém výsledku voleb. Hlavní jsou výsledky v jednotlivých státech. Ten, kdo získá většinu v daném státě, „bere vše“, tedy získává všechny volitele za daný stát. Předpovědi celkového počtu hlasů k sobě měly mnohem blíže:

Shrnutí všech předvolebních průzkumů, ze kterých FiveThirtyEight.com vytvářelo výslednou předpověď

Řada lidí ovšem při pohledu na prohlášení typu „Clintonová má 80% šanci stát se prezidentkou“ získá představu, že má Clintonová drtivou převahu. „Přitom její vedení bylo v řadě států v rámci statistické odchylky,“ připomíná Michal Škop, programátor, matematik a spoluzakladatel projektu KohoVolit.eu. Podle něj nejde o výrazné selhání průzkumů jako takových: „Když se výzkumníci netrefili o tři procenta, tak to není až tak moc, ale v těchto volbách to díky specifickému americkému volebnímu systému znamenalo rozdíl mezi prohrou a výhrou kandidáta.“

Předpovědi FiveThirtyEight.com a (po volbách) zakroužkované skutečné výsledky

S tím souhlasí i Daniel Prokop, sociolog a šéf politického výzkumu z agentury MEDIAN: „Republikánům to vyhrál, podobně jako v roce 2000, americký volební systém.“ Odkazuje tak na fakt, že Clintonová i Trump dostali prakticky stejný počet hlasů (oba mírně přes 59 milionů), ale díky rozložení mezi různé státy je výsledný počet volitelů pro Trumpa výrazně vyšší.

„Nemyslím si, že je to úplné selhání výzkumů jako takových,“ dodává Prokop. „Otázkou spíše je, jestli ty výzkumy mohly být lépe vyhodnoceny. Já si myslím, že ano.“

Metodika průzkumů Chyběla práce s nerozhodnutými voliči

Odhlédněme na chvíli od volebních výsledků a pojďme se podívat, jak fungují předvolební průzkumy a jejich agregace:

  1. Agentura vypíše průzkum, buď ve specifickém státě, nebo celonárodní.
  2. Dotazovatelé buď telefonicky, osobně, nebo přes internet osloví vzorek obyvatelstva v dané populaci.
  3. Analytik agentury data zpracuje tak, aby zohlednil podíl různých demografických skupin v populaci.
  4. Agentura publikuje výsledky průzkumu (a obvykle i jeho metodiku).
  5. Agregátor (například FiveThirtyEight.com) „oznámkuje“ průzkum podle jeho kvality a přiřadí mu „váhu“ a „zkreslení“ na základě předchozích zkušeností s daným typem průzkumu.
  6. Agregátor spočítá celkový výsledek na základě desítek takových průzkumů v daném období.

V každém z těchto kroků se pracuje nejen s jasnými statistickými fakty, ale i s určitým metodologickým „know-how“. Agentury například musejí správně vyhodnotit, jak vyvážit odpovědi od různých skupin lidí či jak tyto skupiny vůbec definovat (muži/ženy, mladí/staří, zaměstnaní/nezaměstnaní atp.). „Zkušenosti z minula evidentně v tomto případě neodpovídaly realitě,“ myslí si Škop. „Firmy nedokázaly započítat něco, co naměřit šlo.“

Galerie předpovědí

Podle Prokopa je jedním z problémů velké části těchto průzkumů nedostatečná práce s jistotou voliče: „Řada těch agentur se dotazovaného zeptá, zda půjde k volbám, nebo ne. Ti, kteří půjdou, se dostanou do kategorie likely voters (pravděpodobní voliči) a agentura zkoumá, koho by volili. Ti, kteří odpoví, že k volbám spíše nepůjdou, ale nevylučují to, jsou z výsledků prakticky odříznuti. Přitom část z nich se třeba na Floridě zřejmě zúčastnila.“

Lepší, i když komplikovanější je podrobnější dotazování, které lze dále vyhodnocovat: „Kdyby se voličů zeptali, jak jisti jsou si účastí a s touto šancí počítali v modelu, bylo by to lepší.“

To podle Prokopa netýká jen účasti, ale i nerozhodnutých voličů. „Americké výzkumy je často odříznou a tím předpokládají, že se rozhodnou podobně jako ti, co už vědí, koho volit. Ale to tentokrát neplatilo – rozhodli se častěji pro Trumpa. My se například v našich průzkumech nerozhodnutých ptáme na míru příklonu ke stranám a k tomu přihlížíme.“ Takovýto „pravděpodobnostní model“ by prý umožnil lépe zachytit rozdílnou míru nejistoty mezi voliči Clintonové a Trumpa a také podchytit nerozhodnuté voliče.

Přeměřování nepomůže Průzkumy nejsou náhodná pozorování

Průzkumy předpovídaly, že Clintonová dostane přibližně o tři procentní body více hlasů než Trump, což by jí (vzhledem k rozložení mezi státy a následné přepočítání na volitele) zajistilo relativně jisté vítězství. Z těchto předpovědí a z průzkumů přímo u volebních místností (tzv. exit polls) pak vycházely také předpovědi těsně po volbách, kdy se začaly počítat hlasy po celých Spojených státech. Následující graf mapující aktuální predikce New York Times dobře ukazuje šok, který řada prognostiků utrpěla pod návalem reálných dat z volebních místností:

Jak se během noci měnily předpovědi New York Times (volitelé)

Z grafu je zřejmé, že reálný výsledek ležel na samé hranici nejistoty (práh 5 %) a bylo to tedy výrazné překvapení. Ještě lépe je to vidět u grafu, na kterém New York Times (citovaný mj. i Českou televizí) předpovídá v danou chvíli šance kandidátů na vítězství. Prakticky během tří hodin došlo nad naším ránem k úplnému přehodnocení výsledné předpovědi.

Jak se během noci měnily předpovědi New York Times

To podle Dana Prokopa může ukazovat i na to, že v prováděných průzkumech byla nějaká systémová chyba, specifická pro tyto volby. „Agregátory průzkumů pracují s podobnými daty, ale jinak je ladí. Pokud je tam systematický posun v těch zdrojových datech, pak je těžké ji odfiltrovat,“ vysvětlil nám sociolog. „Je asi potřeba detailnější analýza metodiky jednotlivých průzkumů, která by redukovala jejich případné vychýlení. Nikoli jen vážení agentur podle hrubých parametrů jako je velikost vzorku apod.“

Nate Silver, jeden z nejpopulárnějších prognostiků amerických voleb (viz rámeček), například upozornil na to, že americké státy nejsou na sobě nezávislé. „Existuje velká korelace mezi jednotlivými státy, takže chyby v jednom státě budou nejspíš napodobeny v dalších, podobných státech.“

Jednotlivé průzkumy nejsou nezávislá měření. Často mají stejnou metodiku, a tedy i stejnou systémovou chybu

„Je to problém i uvnitř státu, když považujete průzkumy za zcela nezávislá měření,“ říká Prokop. Je podle něj dobré se dívat, zda se neshodují díky tomu, že k tomu přistupují stejně metodicky. „Když se shoduje metodika, je velká pravděpodobnost, že dvě kvalitní agentury dojdou ve stejném čase ke stejnému výsledku. Dnes existují v ČR tři modely, které dávají dvouciferný náskok ANO. Ale je to mimo jiné proto, že všechny vychází ze spontánní otázky. Podobné to je v USA, kde všichni opakují podobnou definici „likely voters“ a odřezávají nerozhodnuté,“ říká Prokop.

Je to, jako kdyby více agentur používalo k měření pravítko od stejné firmy. Špatné pravítko bude dávat stejné výsledky a tím zdánlivě potvrzovat měření ostatních agentur. Ve skutečnosti ale měření (a následné předpovědi) zkresluje. A to navíc u všech agentur. Americké predikční weby podle Prokopa tuto provázanost podcenily a považovaly svoje odhady za jistější, než ve skutečnosti byly.

Co konkrétně mohlo zkreslit měření? Zatím pro to nemáme přesné podklady, toto jsou tedy spíše spekulace, které bude nutno později ověřit na tvrdých číslech:

  • Stydlivost voličů - též Bradleyho efekt. Označuje situaci, kdy dotázaný nechce z nějakého důvodu přiznat své skutečné preference. V případě Donalda Trumpa lze spekulovat například o tom, že vzdělaní muži se nechtěli v telefonickém či osobním dotazování přiznávat k volbě Trumpa. „Proto si také Trump vedl lépe v počítačových on-line výzkumech, kde mají lidé větší pocit soukromí,“ říká Prokop. Stejně tak se mohly například ženy před ostatními ženami stydět za to, že by podporovaly Trumpa. Nebo, jak říká manažerka Trumpovy kampaně: „Nestyděli se, ale už je nebavilo hádat se o politice.“
  • Volání na pevné linky - Řada dotazování probíhá pomocí volání na pevné linky, ale většina lidí už pevné linky nepoužívá. Přestože to agentury vědí a snaží se tento rozpor odfiltrovat, může mít vliv v případě, že se tyto skupiny (pracující vs. v domácnosti) výrazně liší v názoru na kandidáty.
  • Neschopnost vyvážit město a venkov - Při vzorkování může být problém správně vyvážit voliče z měst a z venkova.
  • Malá návratnost - Tazatelům odpovídá v USA na dotazy velmi malá část lidí (cca 2 až 10 %), a výzkumná agentura proto musí složitě dopočítávat, zda je ta skupina, která odpověděla, nějak odlišná od té, která neodpověděla. Je možné spekulovat, že voliči Donalda Trumpa (který opakovaně mluvil o tom, jak průzkumům není radno věřit) měli mírně menší zájem na tom v průzkumech odpovídat.
  • Stranické preference - Průzkumy se často zaměřily na osobnost kandidáta, zatímco v USA velká část voličů volí podle stranické příslušnosti takřka bez ohledu na aktuálního kandidáta. V americkém systému totiž prezident stojí v čele vlády, a voliči tedy volí nejen prezidenta.

Je dokonce možné, že samotné předvolební průzkumy se nějakým způsobem podepsaly na výsledku: „Od demokratů zaznívalo, že už mají výhru díky hlasování v předtermínu a predikované převaze v klíčových takřka jistou,“ připomíná Prokop. „Díky tomu mohla vypadnout účast lidí, kteří by volili proti Trumpovi, ale Hillary nemilují.“ Volební průzkumy zkrátka mohly snížit motivaci voličů, kteří chtěli zastavit Trumpa, ale díky pozitivním predikcím měli pocit, že už jejich hlas není potřeba, zatímco Trumpovi voliči byli o to motivovanější.

Ačkoli samotný Trump opakovaně vyzýval voliče, aby nevěřili výzkumům (ukázalo se, že měl pravdu), Trumpova kampaň se rozhodně výzkumy řídila. Na poslední chvíli - tedy v posledních dvou dnech před volbami, objel Trump neuvěřitelných deset států ve třech časových pásmech, aby zde těsně před volebním dnem vyburcoval voliče. Zaznamenali jsme tyto zastávky (vyznačen je stát, nikoli město) na mapu prognóz a mapu volebních výsledků:

Mapa volebních prognóz s vyznačenými místy posledních Trumpových zastávek
Mapa volebních výsledků s vyznačenými místy posledních Trumpových zastávek

Vlevo mapa s prognózami, vpravo mapa s volebními výsledky, žlutě označené státy, kde Trump promluvil k voličům těsně před volbami

„Sám Trump dělal kampaň právě a jen v těch státech, které rozhodly. Jak to věděl? Díky průzkumům,“ domnívá se Michal Škop. Zdaleka ne ve všech státech, které na poslední chvíli navštívil, uspěl, ale na vítězství to stačílo. Nejdůležitější byly v tomto ohledu Florida, Pennsylvánie a Severní Karolína. Ve všech těchto státech měla podle prognóz mírný náskok Clintonová. „Republikáni dotáhli Demokraty v práci s daty,“ myslí si Škop. „S tím, co známe z Česka, je to nesrovnatelné.“

Poučení? Počítat s nejistotou a statistickými odchylkami

Odborníci se shodují na tom, že průzkumy sice selhaly, ale nebylo to selhání výrazné. V praxi se výzkumy strefily v rozmezí několika procent. „Je to systematická chyba, ale nikterak významná. V takto těsných volbách ale i dvě tři procenta v klíčových státech znamenala odlišný výsledek voleb,“ uzavírá Daniel Prokop a dodává: „Nevím, jestli je to selhání těch agentur, nebo spíše lidí, kteří na základě výzkumů vytvářejí prognózy.“ Podle Prokopa je důležité, aby se lidé naučili s těmito průzkumy lépe zacházet v kontextu jejich vzniku a nepřeceňovat jejich predikční sílu.

Úspěšná předpověď

Profesor historie Allan Lichtman předpověděl podeváté výsledek voleb. Nepotřeboval k tomu ale výsledky výzkumů...

Do budoucna se pak bude zřejmě řešit především to, jak výzkumy (nejen ty předvolební) do budoucna zlepšit. Zatímco v ostatních oblastech (například v marketingovém průzkumu) je rozdíl několika procent naprosto zanedbatelný, v případě amerických voleb rozhodují o vítězi právě tato procenta.

„Nějaká chyba tam bude vždycky,“ připomíná Michal Škop. „I kdyby se všechno udělalo nejlépe, jak jde, tak tam nějaká chyba bude.“ Proto je potřeba u průzkumů pracovat se statistickými odchylkami. Jediným spolehlivým průzkumem veřejného mínění, jak praví klasický bonmot, jsou ostatně právě volby samotné.

Jak si vedl nejslavnější „věštec“

Jedním z vítězů minulých amerických prezidentských voleb roku 2012 byl (nejen podle našeho článku) Nate Silver. Statistik, který v té době vedl blog nazvaný FiveThirtyEight na New York Times, předpověděl výsledky voleb s přesností, která laickou veřejnost překvapila. Týkalo se to nejen samotné prezidentské volby, která nakonec v roce 2012 byla méně těsná, než se předpovídala, ale i voleb v jednotlivých státech, kde jeho předpověď vyšla stoprocentně: vyhrálo 50 z 50 kandidátů, které jeho předpovědní model favorizoval.

Nebyl to samozřejmě Silverův první úspěch, do NY Times se dostal poté, co jeho předpovědi uspěly v roce 2008. Nedělal vlastní průzkumy, vytváří jen statistické modely založené na údajích z průzkumů. Jeho práce spočívá především ve výběru dat, které do něj zařadit podle jejich důvěryhodnosti, spolehlivosti a dalších měřítek. Silver vážil jednotlivé průzkumy na základě historických výkonů těch, kdo je pořizovali – v podstatě je posuzoval jako hráče baseballu, pro který vytvářel statistické modely předtím.

V roce 2012 nebyl Silver rozhodně jediný, kdo výsledek odhadl, ale díky své relativní známosti a možná i jiným faktorům (býval sázkařem a profesionálním hráčem pokeru, takže měl zajímavou minulost) se stal symbolem předpokládané „statistické revoluce“. Odešel z NY Times, a jeho blog koupila společnost ESPN, specializující se na sportovní přenosy. Od té doby se tým kolem FiveThirtyEight.com (čili 538, což je počet volitelů prezidenta USA) rozrostl na zhruba 45 lidí a kromě politiky pokrývá ve velkém i sportovní statistiky. Před prezidentskými volbami se ale znovu stal častým místem návštěv pro všechny zájemce o volební předpovědi.

Silver a spol. nabízel několik možných modelů, které braly či naopak nebraly v potaz historická data, ekonomické údaje, demografické údaje atp. Jejich hlavním výsledkem bylo „jediné číslo“, procentuální hodnota, která udávala pravděpodobnost vítězství toho či onoho kandidáta v procentech. Jak je jasné z připojeného grafu, výsledky výrazně kolísaly, ale obecně řečeno dávaly v kontextu jiných průzkumů nezvykle velkou šanci Donaldu Trumpovi.

Vývoj předpovědního modelu FiveThirtyEight.com od června do listopadu 2016

Vítězství jeho protivnice bylo stále podle výsledků modelu výrazně pravděpodobnější, ale chyba není tak veliká, jak by se mohlo z pohledu na procentuální hodnotu (71,4:28,6) zdát.

Zhruba týden před volbami, kdy už model dával tento výsledek, Silver napsal, že výsledky jsou v rámci běžné nepřesnosti průzkumů (náskok Clintonové byl v té době zhruba kolem tří procent): „Pokud Clintonová vyhraje o tři procenta, s velkou pravděpodobností vyhraje Bílý dům. Ale je to středně velké „pokud“.“ Poznámka byla ovšem na konci dlouhého textu, jehož přečtení trvalo podstatně déle než jeden pohled na procentuální hodnoty. Alespoň z části tak možná překvapení výsledku alespoň z části nepadá na statistiky, ale na samotné čtenáře.

Aktualizace: Do článku jsme doplnili údaje o průzkumech a jejich využití.

Autoři:
  • Nejčtenější

NASA testovala obranu Země před vesmírným tělesem, sonda zasáhla asteroid

Sonda DART americké vesmírné agentury NASA zasáhla v úterý podle plánu měsíc planetky Didymos. Šlo o první test obrany...

Tuto technologii nejspíš používáte, ale dost možná ne naplno. Co vše umí NFC

Premium Používá se denně k bezkontaktnímu placení, ale také k tisku, párování sluchátek, načtení jídelního lístku, otevření...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

Zabte je, než vylezou na břeh. I „hořící moře“ mělo zastavit německou invazi

Seriál Po neúspěšných diplomatických nabídkách se Hitler odhodlal k vypracování plánů na invazi do Británie. Britům bylo...

Nejblíž za 22 let. Vysloužilá sonda pořídila snímky Jupiterova měsíce Europa

Pět let letěla sonda Juno k Jupiteru, aby v roce 2016 u něj začala svou práci. Přestože již má své původní úkoly dávno...

{NADPIS reklamního článku dlouhý přes dva řádky}

{POPISEK reklamního článku, také dlouhý přes dva a možná dokonce až tři řádky, končící na tři tečky...}

POZOR VLAK: Papírová RC lokomotiva je světovým unikátem

Toto jste ještě neviděli, štáb magazínu POZOR VLAK natočil naprostý železniční unikát, zářivě žlutý model elektrické...

Sověti ozářili Richarda Nixona radioaktivitou. Jeho agenti to zastavili trikem

Premium Při návštěvě v Sovětském svazu Richard Nixon sice přátelsky hovořil se sovětským vůdcem Nikitou Chruščovem v takzvané...

Test kočičích kapsiček. I z krmiva za deset korun může zvíře dostat vše

Premium Kočky nám sice někdy připadají mlsné, ale ony jen v miskách hledají to, co jejich tělu prospívá nejvíc: maso plné...

Extra steh po porodu navíc? Rodičky děsí ponižující husband stitch

Premium Přivést dítě na svět znamená pro většinu žen prožít si mnoho vypjatých chvil. Vyrovnat se s průběhem porodu nemusí být...

Jak se z vyhladovělé čelisti stal nejstarší známý dinosaurus

První „praví“ dinosauři pravděpodobně existovali již v období středního triasu (asi před 245 miliony let). My však...

Skleníkový efekt zažívali i dinosauři, s horky a vyšší hladinou moří

V období pozdní křídy, asi před sto až šedesáti šesti miliony let, bylo celosvětové podnebí poměrně teplé až horké. Na...

Znečištění ovzduší může „probudit“ poškozené buňky a vyvolat rakovinu

Rakovina plic je nejvíce spojována s kouřením, ale roli hrají při vzniku tohoto onemocnění i další faktory. Nově vědci...

Světlo v noci narušuje imunitní systém, rozbíjí biologické hodiny, říká expert

Premium Říká si světlonoš, ve skutečnosti by nejraději zhasínal. „Biorytmy všech organismů se kdysi řídily jen sluncem a...

Akční letáky
Akční letáky

Všechny akční letáky na jednom místě!

Přístroje zjistily výbuchy u Nord Streamu. Úmyslný čin, tvrdí Švédsko

Švédské a dánské měřicí stanice v pondělí zaznamenaly masivní podmořské výbuchy, a to v místech, kde z plynovodu Nord...

Úmrtní list Alžběty II. odhalil příčinu i čas smrti královny

Britská královna Alžběta II. zemřela na stáří. Vyplývá to z jejího úmrtního listu, který ve čtvrtek zveřejnil skotský...

Příběh Marty: Syn si přivedl domů přítelkyni, je to líná špindíra

Se synem jsme měli vždycky hezký vztah. Naším společným plánem bylo, že jednou s námi zůstane žít v našem domě v...

Dcera Neumannové randí s modelem. V mém životě muž není, říká její matka

Dcera legendární lyžařky Kateřiny Neumannové, osmnáctiletá Lucie randí s úspěšným modelem Oliverem Průchou. Promluvili...

Slovensko vře kvůli cenám elektřiny. Největší výrobce hrozí bankrotem

Největšímu výrobci elektřiny na Slovensku, společnosti Slovenské elektrárne, se příčí dodávání elektřiny slovenským...