Metodologia: jak projektujemy, sprawdzamy i raportujemy badania

Standardy

Pracujemy zgodnie z zasadami Międzynarodowego Kodeksu ICC/ESOMAR dotyczącego badań rynku, opinii i badań społecznych. W praktyce oznacza to, że badania są oddzielone od sprzedaży, respondenci biorą w nich udział dobrowolnie i wiedzą, kto i w jakim celu zbiera dane, dzieci i inne osoby szczególnie wrażliwe otrzymują dodatkową ochronę, a wyniki przedstawiamy rzetelnie – również te, które mogą nie spodobać się klientowi.

Normę ISO 20252, międzynarodowy standard procesów w badaniach rynku, opinii i badaniach społecznych, traktujemy jako punkt odniesienia dla sposobu planowania, dokumentowania i kontroli projektu. Nie deklarujemy certyfikacji na zgodność z nią; wykorzystujemy jej strukturę jako listę kontrolną, aby każdy etap – od briefu po archiwizację – pozostawiał ślad w dokumentacji.

Dane osobowe przetwarzamy zgodnie z RODO. Respondenci wyrażają świadomą zgodę, zbieramy tylko to, czego wymaga badanie, a dane identyfikujące oddzielamy od odpowiedzi lub usuwamy przed przekazaniem plików z danymi.

Dobór próby i statystyka

Każda próba zaczyna się od zdefiniowania populacji: kogo dokładnie mają opisywać wyniki, w jakim kraju i według stanu na jaki dzień. Następnie wybieramy operat losowania, czyli listę lub źródło, z którego dobierani są respondenci, i wskazujemy, w czym odbiega on od populacji.

Większość badań konsumenckich opiera się na doborze kwotowym z paneli internetowych lub prób telefonicznych, z kwotami według wieku, płci i regionu odzwierciedlającymi oficjalne statystyki ludności. Gdy możliwa jest próba probabilistyczna, na przykład z pełnej listy klientów, stosujemy dobór losowy lub dobór warstwowy. Po zakończeniu realizacji niewielkie odchylenia korygujemy ważeniem i podajemy efektywną wielkość próby, aby koszt ważenia w postaci utraty precyzji był widoczny.

Wielkość próby wynika z precyzji potrzebnej w najmniejszej istotnej podgrupie, a nie z okrągłej liczby. Przy poziomie ufności 95% około 385 wywiadów daje margines błędu około ±5 punktów procentowych dla wyniku bliskiego 50%; obliczenia pokazuje nasz kalkulator wielkości próby. W przypadku prób nieprobabilistycznych margines błędu przedstawiamy jako wartość orientacyjną, a nie ścisłą granicę.

Kontrola jakości

Kontrola realizacji

Wywiady telefoniczne są monitorowane na żywo lub na podstawie nagrań, a część pracy każdego ankietera podlega kontroli. Wywiady bezpośrednie i wizyty mystery shopping weryfikujemy na podstawie znaczników czasu, lokalizacji i – jeśli to możliwe – paragonów. Badania internetowe monitorujemy codziennie pod kątem realizacji kwot, miejsc przerywania ankiety i nietypowych wzorców odpowiedzi, a przed pełną realizacją przeprowadzamy soft launch, aby wychwycić błędy w filtrach.

Czyszczenie danych

Przed analizą każdy zbiór danych ankietowych przechodzi udokumentowane czyszczenie danych:

• Speederzy: usuwamy respondentów, którzy kończą ankietę znacznie szybciej niż mediana czasu dla ich ścieżki w kwestionariuszu.
• Straightlining: identyczne odpowiedzi w całych blokach pytań macierzowych, zwłaszcza gdy stwierdzenia mają przeciwny wydźwięk, oznaczamy i weryfikujemy.
• Pytania sprawdzające uwagę: pozycje z poleceniem wskazania określonej odpowiedzi ujawniają respondentów, którzy nie czytają pytań.
• Odpowiedzi otwarte: oznaczamy odpowiedzi bezsensowne, skopiowane i niezwiązane z pytaniem, a także zduplikowanych respondentów.
• Spójność: sprzeczności, na przykład szczegółowa ocena produktu przez osobę, która go nie używa, sprawdzamy indywidualnie.

Raport podaje, ile wywiadów usunięto i z jakiego powodu, aby mogli Państwo samodzielnie ocenić oczyszczoną próbę.

Metody jakościowe

Badania jakościowe zaczynają się od rekrutacji. Screener sprawdza, czy każdy uczestnik pasuje do profilu, nie brał niedawno udziału w podobnym badaniu i nie ma zawodowych powiązań z daną kategorią. W każdej grupie rekrutujemy zróżnicowane profile, aby jeden typ opinii nie dominował.

Moderacja przebiega według scenariusza wywiadu uzgodnionego z Państwem z wyprzedzeniem, ale moderator może podążać za nieoczekiwanymi wątkami. Grupy fokusowe i wywiady pogłębione nagrywamy za zgodą uczestników i transkrybujemy; obserwatorzy mogą je śledzić na żywo lub online, jeśli pozwala na to format.

Analiza ma charakter tematyczny: transkrypcje kodujemy według pytań badawczych i tematów wyłaniających się z materiału, a wnioski popieramy dosłownymi cytatami. Jasno określamy, co badania jakościowe mogą pokazać – przyczyny, język, bariery i pomysły – a czego nie, na przykład udziałów czy wielkości rynku, które wymagają ankiety.

Otwarte dane w serwisie

Otwarte dane w naszym serwisie pochodzą od trzech wydawców pierwotnych: Eurostatu – w zakresie ogólnounijnych statystyk dotyczących gospodarstw domowych, przedsiębiorstw i branż, Banku Światowego – w zakresie liczby ludności i PKB z bazy World Development Indicators, oraz CBS StatLine – w zakresie zaufania konsumentów w Holandii. Przy każdym wykresie podajemy wydawcę, kod zbioru danych i najnowszy prezentowany rok, dzięki czemu każdą liczbę można sprawdzić u źródła.

Dane pobieramy bezpośrednio z baz wydawców, a nie kopiujemy ich z serwisów pośrednich, i odświeżamy je po każdej nowej publikacji. Nie korygujemy ani nie szacujemy oficjalnych wartości; jeśli w szeregu występują luki, na przykład lata, w których dany moduł badania Eurostatu nie był realizowany, wykres pokazuje lukę zamiast ją wypełniać. W raportach każda liczba z desk research ma w tekście podane źródło i rok. Zapraszamy do sekcji z danymi rynkowymi.

Jak korzystamy z AI

Korzystamy z narzędzi AI tam, gdzie oszczędzają czas, nie zastępując osądu badacza: przy wstępnym kodowaniu odpowiedzi otwartych, roboczych streszczeniach transkrypcji wywiadów, pierwszych wersjach tłumaczeń i w fazie wyszukiwania w desk research. Każdy wynik pracy AI sprawdza badacz, zanim zostanie wykorzystany, kody i tematy weryfikujemy z surowymi odpowiedziami, a tłumaczenia sprawdza native speaker.

Nie stosujemy syntetycznych respondentów jako zamiennika prawdziwych. Modele językowe mogą pomóc w formułowaniu hipotez lub sprawdzeniu zrozumiałości kwestionariusza, ale ich odpowiedzi nie są danymi o Państwa rynku. Danych osobowych ani poufnych materiałów klienta nie wprowadzamy do narzędzi AI bez podstawy umownej, która je chroni. Ograniczenia omawiamy szerzej w artykule o badaniu rynku z wykorzystaniem AI.

Najczęściej zadawane pytania

Czy stosujecie próby probabilistyczne czy nieprobabilistyczne?

Jedne i drugie, zależnie od dostępnego operatu. W badaniach Państwa własnych klientów lub członków często można zastosować próbę losową z pełnej listy. Badania konsumenckie opierają się zwykle na panelach internetowych lub próbach telefonicznych z kwotami, czyli na próbach nieprobabilistycznych. Jasno informujemy, który typ zastosowano, a margines błędu dla prób kwotowych interpretujemy jako orientacyjny, a nie dokładny.

Ile wywiadów usuwacie podczas czyszczenia danych?

Zależy to od źródła próby, długości kwestionariusza i grupy docelowej, dlatego nie pracujemy według stałego limitu usunięć. Każdy raport podaje, ile ukończonych wywiadów usunięto, z jakiego powodu i czy zrekrutowano zastępstwa, aby mogli Państwo zobaczyć wpływ czyszczenia na końcową próbę.

Czy możemy obserwować grupy fokusowe lub słuchać wywiadów?

Zazwyczaj tak. Grupy fokusowe można obserwować na żywo lub przez łącze wideo, a wybranych wywiadów telefonicznych lub nagrań można wysłuchać, pod warunkiem że uczestnicy wyrazili na to zgodę. Obserwatorzy nie biorą udziału w dyskusji i obowiązują ich te same zasady poufności co zespół badawczy.

Czy ważycie dane ankietowe?

Gdy zrealizowana próba różni się od populacji pod względem cech wpływających na wyniki, ważymy ją do znanych danych o populacji, zwykle według wieku, płci i regionu. Utrzymujemy wagi w rozsądnych granicach, podajemy efektywną wielkość próby i pokazujemy w tabelach nieważone liczebności, aby było widać, jak duże znaczenie ma ważenie.

Czy piszecie raporty za pomocą ChatGPT?

Żaden raport nie jest pisany przez narzędzie AI. Analizę i wnioski piszą badacze. Możemy korzystać z AI, aby przyspieszyć konkretne zadania, takie jak wstępne kodowanie odpowiedzi otwartych czy robocze streszczenie transkrypcji, ale badacz sprawdza każdy taki wynik z danymi źródłowymi, zanim cokolwiek trafi do raportu.