Kontrola jakości pracy ankieterów
Najlepiej zaprojektowane badanie nic nie jest warte, jeśli ankieter zamiast pójść do wylosowanej osoby wypełni ankietę sam albo zapyta sąsiada. Dlatego kontrola pracy ankieterów to jedna z najważniejszych, choć najmniej widocznych części każdego badania.
Co może pójść nie tak
- Fałszowanie wywiadów: ankieta wypełniona bez rozmowy z respondentem, w całości albo w części.
- Zmiana respondenta: wywiad z inną osobą niż wylosowana, bo była w domu albo łatwiej się zgodziła.
- Skracanie: pomijanie pytań, czytanie tylko części odpowiedzi, sugerowanie.
- Wpływ ankietera: komentarze, ton głosu albo wygląd, które przesuwają odpowiedzi.
Metody kontroli
Kontrola powtórna (back-check)
Pracownia kontaktuje się z częścią respondentów i sprawdza, czy wywiad się odbył, kiedy, jak długo trwał, czy ankieter pokazywał karty z odpowiedziami. Kilka pytań z ankiety zadaje się ponownie i porównuje odpowiedzi. To najstarsza i nadal podstawowa metoda.
Analiza danych
Komputerowe techniki wywiadu (CAPI, CATI, CAWI) zapisują czas każdej odpowiedzi. Wywiad, który trwał 8 minut zamiast 40, albo seria wywiadów jednego ankietera z identycznymi wzorcami odpowiedzi, natychmiast zwraca uwagę. Analizuje się też odsetek odpowiedzi "trudno powiedzieć", długość odpowiedzi na pytania otwarte i powtarzalność wyników u konkretnych ankieterów.
Nagrania i lokalizacja
W wywiadach telefonicznych część rozmów nagrywa się i odsłuchuje, a superwizor może słuchać na żywo. W wywiadach bezpośrednich tablety zapisują lokalizację i czas, co pozwala sprawdzić, czy ankieter był pod właściwym adresem. Wymaga to zgody respondenta i zgodności z RODO.
Kontrola w badaniach internetowych
W CAWI nie ma ankietera, ale są inne problemy: osoby, które odpowiadają losowo, żeby szybko skończyć, albo zakładają kilka kont w panelu. Stosuje się pytania kontrolne ("zaznacz odpowiedź 3"), analizę czasu wypełniania i weryfikację uczestników panelu.
Standardy branżowe
W Polsce od wielu lat działa Program Kontroli Jakości Pracy Ankieterów (PKJPA) prowadzony przez Organizację Firm Badania Opinii i Rynku (OFBOR). Firmy uczestniczące w programie poddają się zewnętrznemu audytowi metod kontroli i dostają certyfikat na kolejny rok. Na poziomie międzynarodowym obowiązuje Kodeks ICC/ESOMAR, który określa zasady rzetelności badań i ochrony respondentów, oraz norma ISO 20252 dla badań rynku, opinii i społecznych.
Co to znaczy dla czytelnika wyników
- Sprawdź, czy pracownia opisuje swoje procedury kontroli albo ma certyfikat branżowy.
- Badania tanie i bardzo szybkie częściej oszczędzają właśnie na kontroli.
- Jeśli wyniki jednej pracowni nagle odbiegają od innych, jednym z możliwych wyjaśnień są problemy z realizacją w terenie.
Zobacz też: jak powstaje sondaż i rodzaje badań rynku i opinii.