Badania opinii publicznej: jak powstaje sondaż
W mediach sondaż to zwykle jedna liczba w nagłówku. Za nią stoi kilka tygodni pracy i kilkanaście decyzji, z których każda może przesunąć wynik. Oto jak to wygląda krok po kroku.
1. Pytanie badawcze
Wszystko zaczyna się od tego, czego zleceniodawca chce się dowiedzieć. "Jakie jest poparcie dla partii?" to proste pytanie. "Co Polacy myślą o reformie emerytalnej?" już nie, bo najpierw trzeba ustalić, czy chodzi o wiedzę o reformie, o jej ocenę, czy o gotowość do protestu. Od tego zależy cały kwestionariusz.
2. Kwestionariusz
Tu powstaje najwięcej błędów, których żaden wzór statystyczny nie wychwyci:
- Brzmienie pytania. "Czy zgadza się Pan/Pani, że rząd powinien…" skłania do zgody. Rzetelne pytanie przedstawia obie strony albo pyta neutralnie.
- Kolejność pytań. Pytanie o zaufanie do rządu zadane po serii pytań o drożyznę da inny wynik niż zadane na początku.
- Kafeteria odpowiedzi. Czy jest odpowiedź środkowa? Czy jest "trudno powiedzieć"? Ile jest kategorii? Skala od 1 do 5 i skala od 0 do 10 dają różne rozkłady.
- Pytania o rzeczy, o których ludzie nie mają zdania. Zapytani o mało znaną ustawę, respondenci i tak często udzielają odpowiedzi, żeby nie wyjść na niezorientowanych.
Dobre pracownie testują kwestionariusz na kilkunastu osobach przed właściwym badaniem (pilotaż).
3. Próba i technika
Kolejne decyzje: kogo badamy (wszyscy dorośli, osoby uprawnione do głosowania, mieszkańcy jednego miasta), ilu (zwykle około 1000 osób w sondażu ogólnopolskim) i jak (wywiad w domu, telefon, internet albo ich połączenie). Szczegóły w tekstach o doborze próby i błędzie statystycznym oraz o technikach CATI, CAWI i CAPI.
4. Realizacja
Ankieterzy przeprowadzają wywiady, a pracownia pilnuje ich jakości: sprawdza losowo, czy wywiady naprawdę się odbyły, analizuje czas trwania i nietypowe wzorce odpowiedzi. W Polsce działa branżowy Program Kontroli Jakości Pracy Ankieterów prowadzony przez Organizację Firm Badania Opinii i Rynku (OFBOR). Więcej w tekście o kontroli jakości pracy ankieterów.
5. Ważenie i analiza
Żadna próba nie odpowiada idealnie strukturze społeczeństwa. Zwykle za mało jest młodych mężczyzn i osób z wykształceniem podstawowym, za dużo osób starszych i lepiej wykształconych. Pracownia przelicza więc wyniki tak, żeby proporcje płci, wieku, wykształcenia i miejsca zamieszkania zgadzały się z danymi GUS. W sondażach politycznych część pracowni waży też według deklarowanego głosowania w poprzednich wyborach. Każda z tych decyzji wpływa na wynik, dlatego różne pracownie, badając w tym samym tygodniu, dają różne liczby.
6. Publikacja
Rzetelna publikacja wyników zawiera co najmniej:
- kto zlecił i kto przeprowadził badanie,
- kiedy prowadzono wywiady,
- jak dobrano próbę i ile osób zbadano,
- jaką techniką,
- dokładne brzmienie pytania i możliwe odpowiedzi,
- błąd statystyczny, jeśli próba była losowa.
Brak tych informacji to sygnał ostrzegawczy. Szczególnie warto uważać na "sondaże" internetowe, w których głosuje każdy chętny pod artykułem: to nie badanie opinii, tylko zabawa, i jej wyniki nic nie mówią o całym społeczeństwie.
Cisza wyborcza. Kodeks wyborczy zakazuje publikowania wyników sondaży przedwyborczych i sondaży z dnia głosowania od zakończenia kampanii do końca głosowania. Złamanie zakazu grozi grzywną od 500 tys. do 1 mln zł.
Jak czytać sondaż w pięć sekund
- Patrz na datę wywiadów, nie na datę publikacji.
- Porównuj wyniki tej samej pracowni w czasie, a nie różnych pracowni między sobą.
- Różnica mniejsza niż 3-4 punkty w próbie 1000 osób zwykle nic nie znaczy.
- Szukaj średniej z kilku sondaży, a nie pojedynczego wyniku, który akurat najlepiej pasuje do tezy.
Zobacz też: jak czytać sondaże poparcia partii i rodzaje badań rynku i opinii.