Čo potrebujete vedieť o prieskumoch verejnej mienky

Ktorej agentúre možno v prieskumoch veriť? Alebo sú všetky zbytočné?

Odpovie krátky sprievodca politickými prieskumami verejnej mienky.

Čo prieskumy preferencií vlastne hovoria?

Najskôr, čo prieskumy nehovoria - prieskumy preferencií samotné nepredpovedajú budúcnosť, ani výsledky volieb.

Ak by to vedeli, po voľbách 2010 by sme v parlamente mali aj HZDS a SMK ("posielali" ich tam ostatné predvolebné prieskumy MVK, Polis aj Focusu) a Smer by nemal ani 30 percent (Polis a Focus), aj keď v skutočnosti získal 34,79. V marcových voľbách 2012 by Smer nezískal väčšinu poslancov (MVK) a 99 percent by bolo v parlamente (Focus).

Prieskumy zachytávajú náladu v konkrétnom čase a kontexte (a merajú ju pomocou rôznych štatistických nástrojov) a sú dobré na sledovanie dlhších trendov, nie na ďalekosiahle závery z mesačných zmien.

Prieskumy preferencií odpovedajú na zadanú otázku. To je dôležitejšie, ako sa môže zdať. Aj keď pri prieskumoch preferencií sa to tak často nestáva, niekedy sa výsledky prieskumov snažia (politické strany, médiá) vzťahovať aj na to, na čo sa ľudí nikto nepýtal.

Ak chce niekto hovoriť o dlhodobom vývoji nejakého postoja, mal by vždy brať do úvahy iba odpovede na rovnako položenú otázku.

Pri preferenciách strán sa štandardne dáva otázka:

Focus: "Predstavte si, že by sa parlamentné voľby konali tento víkend a kandidovali by nasledujúce politické strany. Ktorej strane by ste dali svoj hlas?"

MVK: "Ak by sa predčasné voľby do Národnej rady SR konali už dnes, ktorej strane by ste odovzdali svoj hlas?"

Polis: "Ktorú stranu alebo hnutie by ste volili, ak by sa parlamentné voľby konali najbližší víkend?"

MEDIAN SK: "Pokiaľ by ste sa ich (volieb, pozn.) zúčastnili, akú stranu alebo hnutie by ste volili?“

Čize vlastne všetci merajú to isté. Prečo sú výsledky strán rozdielne?

ESOMAR, globálna profesijná organizácia združujúca firmy venujúce sa prieskumom, definuje vo svojej príručke k prieskumom verejnej mienky (.pdf) niekoľko bodov, ktoré by mali pomôcť pri rozhodovaní, či brať daný prieskum vážne. Tieto body tiež vysvetľujú, prečo sa môžu rôzne prieskumy líšiť.

Podľa organizácie by zverejnenie výsledkov v (tlačených) médiách malo obsahovať (okrem mena organizácie): komu boli kladené otázky; dosiahnutá vzorka; kedy sa prieskum konal; aká výberová metóda bola použitá; ako boli informácie zbierané; či bolo použité váženie dát; a aké presne zneli otázky.

Ak sa rôzne agentúry líšia v niektorom z týchto bodov (ak to vieme zistiť), je pravdepodobné, že sa budú líšiť aj ich výsledky.

(Ako by prieskum vyzeral v ideálnom prípade si prečítajte napríklad v Best practices od American Association for Public Opinion Research. )

Prečo má teda Smer v jednom prieskume takmer 50 percent a v inom pod 40?

Okrem občasných mimoriadnych výkyvov (ktoré netreba brať vážne, ak to nie je trend) to je najmä pre iný spôsob merania.

Preferencie Smeru sú štandardne vyššie v prieskumoch agentúry MEDIAN SK. Vysvetlením je, že merajú iným spôsobom, ako ostatné agentúry. Vo svojich prezentáciách to v porovnaní s konkurenciou (MVK a Polis stále nemajú vlastnú webstránku) aj detailne vysvetľujú.

MEDIAN SK využíva metódu "spontánneho vyjadrenia sa respondentov" na položenú otázku (oslovení ľudia nedostanú zoznam politických strán a hnutí, ako pri ostatných agentúrach, ale sami niekoho uvedú) a dáta zbiera niekoľko týždňov (u ostatných to je niekoľko dní).

V ich prieskume sa tak môžu silnejšie umiestniť strany, ktorých "značky" sú známejšie (resp. odpovedajúci si na ne rýchlejšie a jednoduchšie spomenie). Výstupy prezentujú skôr akúsi politickú náladu než odhad volebného výsledku.

Ak má strana tesne nad päť percent, dostane sa do parlamentu?

Možno áno, možno nie - výsledky okolo piatich percent je nutné brať s veľkou rezervou. Pri takomto tesnom výsledku je dôležitá štatistická chyba.

Zo slovenských agentúr zverejňuje hodnoty v intervale spoľahlivosti (štatistickú chybu) iba Focus. Napríklad v májových číslach uvádza:

V preklade to znamená, že s 95-percentnou pravdepodobnosťou bude mať Smer niekde medzi 36,8 a 44,7 percentami.

Štatisticky najpresnejšia interpretácia hovorí, že ak by sa prieskum konal veľakrát a vždy by sme vypočítali 95-percentný interval spoľahlivosti, tak asi 95 percent z týchto intervalov by zahrnulo aj skutočnú hodnotu. Či skutočnú hodnotu zahŕňa aj náš konkrétny prieskum, nemáme ako vedieť.

Úplne "bezpečné" boli podľa tohto prieskumu strany od SDKÚ vyššie. Most, Nova, SNS, SMK a SaS by sa mohli, ale aj nemuseli do parlamentu dostať.

Preložené do počtu poslancov, horná a dolná hodnota v intervale spoľahlivosti znamená nasledovné (veľmi imaginárna situácia, keďže súčet percent je podstatne nad, resp. pod 100 percentami a dosiahnutie okrajových hodnôt by v prípade vykonania veľa prieskumov po sebe (viď vyššie) nastalo iba v značne obmedzenom počte prípadov):

Smer sa pri vyradení strán, ktoré sa pohybujú okolo päť percent, dostal na ústavnú väčšinu. Ak by sme naopak započítali všetky strany nad päť percent v intervale, k samostatnej vláde by mal ďaleko.

Relatívne veľkú istotu prítomnosti v parlamente teda podľa prieskumov majú strany s preferenciami dlhodobo nad sedem percent (plus volebná história hovorí aj o relatívnej istote pre Most, aj keď ten má nad 6 percent).

Jeden, dva alebo tri prieskumy, ktoré "posielajú stranu do parlamentu" (má už nad 5 percent) nič neznamenajú.

Aký zmysel má určovať poradie strán?

Pri veľmi podobných preferenciách (teda okrem Smeru na prvom mieste) to zmysel nemá.

Rozlišovať by sa dalo medzi stranami, ktoré majú stabilne nad 10 percent (podľa Focusu to je okrem Smeru ešte KDH, podľa Polisu okrem Smeru už nikto) a tými, ktoré sa podľa všetkého dostanú do parlamentu (teda majú stabilne okolo sedem percent).

Robiť rebríček, ak štyri strany získajú 7 - 9,7 percenta (Polis, september 2013), nemá žiadnu praktickú informačnú hodnotu. Najmä ak pri predchádzajúcom meraní bol rozdiel medzi stranami ešte menší (7,4 - 8,9, jún).

Sú prieskumy kúpené?

Každý prieskum musí niekto zaplatiť. Niekedy sa o tom čitateľ (a novinár) oficiálne dozvie (napríklad ak si prieskum objednala tlačová agentúra alebo niektorá televízia), inokedy nie.

Politické strany môžu zaplatiť zaradenie niektorých neštandardných otázok (tie, na ktoré sa agentúry nepýtajú dlhodobo) do všeobecných prieskumov, keď sa ľudí okrem názoru na uvedenie nového pracieho prášku opýtajú aj na zavedenie novej politickej strany.

Takéto výsledky niekedy zverejňujú samotné strany, ktoré si ich objednali, je nutné ich brať s rezervou.

Podobne to je aj s prieskumami od agentúr, ktoré nemajú "tradíciu" (aj keď ani o niektorých tradičných sa veľa oficiálne nedozviete) a zverejnia iba niekoľko málo prieskumov, väčšinou pred voľbami a často s "prekvapujúcimi" výsledkami.

Takže, ktorá agentúra je najlepšia? Alebo sú všetky prieskumy preferencií zbytočné?

Nielen skúsenosť z USA a ich prezidentských volieb hovorí, že najbezpečnejší prístup je cez vytváranie priemeru (pri podobnom spôsobe merania).

Rôzne chyby rozdielnych agentúr sa tak pravdepodobne o niečo zmenšia a výpovedná hodnota informácie narastie. Pre sledovanie dlhodobých trendov sú prieskumy užitočným nástrojom, robiť závery z mesačných posunov v hodnotách užitočné nie je.

Americké poll agregators môžu rôzne prieskumy ešte vážiť a brať do úvahy aj iné (ekonomické, demografické) ukazovatele, aj jednoduchý priemer je však lepší ako žiaden.

Aj keď sa pri priemere údajov z dvoch až troch agentúr nedá hovoriť o múdrosti davov a priemerná hodnota má tiež svoje chyby (ak sú zlé základy, z ktorých sa robí, bude chybný aj priemer; priemer nemusí byť lepší ako najlepší individuálny odhad), hľadanie konsenzu v rôznych číslach (a nie výchyliek a extrémov) môže pomôcť nielen diskusii o politike (viac v kapitole Are you smarter than a television pundit - The Signal and the Noise).

Zlý odhad volieb na základe (nielen) prieskumov to už aspoň raz dotiahol aj na titulku novín - po volebnej noci v roku 1948 vyšlo Chicago Tribune s vyhláseným nesprávnym víťazom. Odhadovanie volebných výsledkov treba brať stále s rezervou, a iba preferencie naň nestačia.

Dôvodov pre to, aby sme z prieskumov neveštili budúcnosť, je niekoľko - okrem "technických" problémov popísaných nižšie aj fakt, že časť voličov sa rozhoduje nepredvídateľne a na poslednú chvíľu.

V prieskumoch si nemusia hneď vymýšľať (aj keď je väčšia pravdepodobnosť, že sa k voľbe “nepopulárnej” strany anketárovi nepriznajú), pokojne stačí, že zmenia v deň volieb názor.

Že to s volebným správaním nie je také jednoduché, ilustruje napríklad fakt, že viac ako desatina Američanov v prieskumoch po voľbách tvrdí, že voliť boli, aj keď neboli. Nemusí ísť o otázku, ktorú by sa pýtali mesiace či roky po voľbách. Stačilo aj desať dní, píše S. Issenberg v The Victory Lab.

Ako je to s prieskumami v Česku, si prečítajte na ihned.cz. O prieskumoch u nás sa viac dozviete napríklad u Martina Dubéciho (pozrite si aj reakcie šéfov najcitovanejších agentúr), “politické posolstvo” prieskumov preferencií v situácii z jesene 2013 zhrnul Miroslav Beblavý. Sergej Michalič písal o tom, čo s výsledkami jednotlivých strán môžu spraviť rozdiely v deklarovanej volebnej ne/účasti.

Za pomoc s textom patrí vďaka Andrejovi Schulczovi, Petrovi Spáčovi a Jozefovi Janovskému. Chyby sú dielom autora.

Zdroje a ďalšie čítanie o tom, ako a prečo pri prieskumoch klameme a čo to znamená:

Poll Position: How to Read the Statistics

Opinion polls explained: How to read them and why they matter

Polling 101: How to Read Polls in the Last Three Weeks of the Campaign

Election 2013: Making sense of disparate polls

Margins of Error. Poll Reading Tips

About Washington Post Polls