Dobór próby i błąd statystyczny w praktyce
Pod prawie każdym sondażem stoi dopisek "błąd ±3 pp". Co on znaczy, kiedy jest prawdziwy i dlaczego zwykle jest większy, niż podaje pracownia.
Próba to nie liczba, tylko sposób wyboru
1000 respondentów to dużo albo mało w zależności od tego, jak zostali wybrani. Badanie ma sens wtedy, gdy każda osoba z badanej populacji (np. dorośli mieszkańcy Polski) miała znaną i niezerową szansę trafić do próby. Tak działa próba losowa, na przykład z rejestru PESEL albo z losowo generowanych numerów telefonów.
W praktyce wiele badań korzysta z prób kwotowych (ankieter lub panel internetowy dobiera osoby tak, żeby zgadzały się proporcje płci, wieku, wykształcenia i miejsca zamieszkania) albo z paneli internetowych, do których ludzie zapisują się sami. Takie próby mogą dawać dobre wyniki, ale formalnie nie da się dla nich policzyć błędu losowego. Podawany błąd jest wtedy przybliżeniem "jak gdyby próba była losowa".
Skąd bierze się "±3 punkty"
Dla próby losowej i wyniku w okolicach 50% błąd przy poziomie ufności 95% liczy się ze wzoru:
błąd ≈ 1,96 × √( p × (1 − p) / n )
gdzie p to wynik (np. 0,5), a n to liczba respondentów. Dla n = 1000 wychodzi 0,031, czyli około 3,1 punktu procentowego. Oznacza to, że gdybyśmy powtórzyli to samo badanie wiele razy, w 95 przypadkach na 100 wynik mieściłby się w przedziale ±3,1 pp od prawdziwej wartości.
| Liczba badanych | wynik 50% | wynik 20% lub 80% | wynik 10% lub 90% |
|---|---|---|---|
| 500 | ±4,4 pp | ±3,5 pp | ±2,6 pp |
| 1000 | ±3,1 pp | ±2,5 pp | ±1,9 pp |
| 2000 | ±2,2 pp | ±1,8 pp | ±1,3 pp |
| 3000 | ±1,8 pp | ±1,4 pp | ±1,1 pp |
Dwie rzeczy z tej tabeli warto zapamiętać. Po pierwsze, podwojenie próby nie zmniejsza błędu o połowę, tylko o około 30%. Dlatego sondaże rzadko mają więcej niż 1000-1500 osób: dalsze zwiększanie próby jest drogie i daje niewiele. Po drugie, wielkość populacji prawie nie ma znaczenia. 1000 osób daje podobną dokładność w Polsce i w Niemczech.
Błąd podgrup jest dużo większy
Najczęstszy błąd przy czytaniu wyników: wnioski o małych grupach. Jeśli w próbie 1000 osób jest 120 osób w wieku 18-24 lata, to błąd dla tej grupy wynosi około ±9 pp. Nagłówek "młodzi coraz bardziej popierają X", oparty na zmianie z 24% na 31% w tej grupie, mieści się w granicach przypadku.
Różnica dwóch wyników to nie to samo co błąd jednego
Gdy partia A ma 31%, a partia B 29% w tym samym sondażu, różnica 2 pp jest mniejsza niż błąd pojedynczego wyniku. Ale nawet różnica 5 pp nie musi być istotna, bo błąd różnicy dwóch wyników z tej samej próby jest większy niż błąd każdego z nich osobno: przy wynikach w okolicach 30% i n = 1000 wynosi około ±5 pp. Podobnie przy porównaniu dwóch kolejnych sondaży: zmiana o 2-3 punkty z miesiąca na miesiąc zwykle jest szumem, a o trendzie świadczy dopiero kierunek utrzymujący się w kilku pomiarach.
Czego błąd statystyczny nie obejmuje
- Odmowy udziału. W wielu badaniach telefonicznych odpowiada kilka procent osób, do których się dzwoni. Jeśli odmawiający różnią się poglądami od odpowiadających, wynik jest przesunięty, a wzór tego nie widzi.
- Brzmienie pytania. "Czy popierasz…" i "Czy jesteś przeciw…" dają różne wyniki dla tej samej sprawy.
- Ważenie. Pracownie przeliczają wyniki tak, żeby struktura próby zgadzała się z danymi GUS. To poprawia trafność, ale zwiększa rzeczywisty błąd (tzw. efekt schematu doboru).
- Deklaracje a zachowania. Ludzie mówią, że czytają, głosują i oszczędzają częściej, niż robią to naprawdę.
Dlatego rozsądnie jest traktować podany błąd jako dolną granicę niepewności. Więcej o tym, jak technika wywiadu wpływa na wyniki, w tekście o CATI, CAWI i CAPI, a o rodzajach badań w przeglądzie specjalizacji badawczych.
Szybka lista kontrolna
- Ile osób zbadano i jak je wybrano (losowo, kwotowo, panel internetowy)?
- Kiedy prowadzono badanie i jaką techniką?
- Jak brzmiało pytanie i jakie były możliwe odpowiedzi (w tym "trudno powiedzieć")?
- Czy wniosek dotyczy całej próby, czy małej podgrupy?
- Czy różnica, o której mowa w nagłówku, jest większa niż błąd?