Metode: slik planlegger, kontrollerer og rapporterer vi undersøkelser

Standarder

Vi arbeider etter prinsippene i ICC/ESOMARs internasjonale retningslinjer for markeds-, opinions- og samfunnsundersøkelser. I praksis betyr det at undersøkelser holdes atskilt fra salg, at respondentene deltar frivillig og får vite hvem som samler inn dataene og hvorfor, at barn og andre sårbare personer får ekstra beskyttelse, og at funnene rapporteres ærlig, også resultater oppdragsgiveren kanskje ikke ønsker å høre.

Vi bruker ISO 20252, den internasjonale standarden for prosesser i markeds-, opinions- og samfunnsundersøkelser, som referanseramme for hvordan et prosjekt planlegges, dokumenteres og kontrolleres. Vi påberoper oss ikke sertifisering etter standarden; vi bruker strukturen som en sjekkliste, slik at hvert trinn, fra behovsbeskrivelse til arkivering, etterlater seg spor.

Personopplysninger behandles etter GDPR. Respondentene gir informert samtykke, vi samler bare inn det undersøkelsen trenger, og identifiserende opplysninger skilles fra svarene eller fjernes før datafilene leveres.

Utvalg og statistikk

Hvert utvalg begynner med en definisjon av populasjonen: nøyaktig hvem resultatene skal beskrive, i hvilket land og på hvilket tidspunkt. Deretter velger vi utvalgsrammen, listen eller kilden respondentene trekkes fra, og oppgir hvor den ikke dekker populasjonen fullt ut.

De fleste forbrukerundersøkelser bruker kvoteutvalg fra onlinepaneler eller telefonutvalg, med kvoter på alder, kjønn og region som gjenspeiler offisiell befolkningsstatistikk. Der et sannsynlighetsutvalg er mulig, for eksempel fra en fullstendig kundeliste, bruker vi tilfeldig eller stratifisert utvalg. Etter feltarbeidet korrigeres små skjevheter med vekting, og vi oppgir den effektive utvalgsstørrelsen slik at prisen vektingen har for presisjonen, blir synlig.

Utvalgsstørrelsen følger av presisjonen som trengs i den minste undergruppen som betyr noe, ikke av et rundt tall. Ved 95 % konfidensnivå gir rundt 385 intervjuer en feilmargin på om lag ±5 prosentpoeng for et resultat nær 50 %; kalkulatoren for utvalgsstørrelse viser regnestykket. For ikke-sannsynlighetsutvalg presenterer vi feilmarginer som en rettesnor, ikke som en streng grense.

Kvalitetskontroll

Kontroll av feltarbeidet

Telefonintervjuer overvåkes direkte eller ut fra opptak, og en andel av hver intervjuers arbeid kontrolleres. Ansikt-til-ansikt-intervjuer og mystery shopping-besøk verifiseres mot tidsstempler, steder og kvitteringer der det er mulig. Feltarbeid på nett følges daglig med tanke på kvotefylling, frafallspunkter og uvanlige svarmønstre, og vi gjennomfører en myk oppstart før fullt feltarbeid for å fange opp feil i filtreringen.

Datarensing

Før analysen går hvert datasett fra spørreundersøkelser gjennom dokumentert datarensing:

• Hastesvarere: respondenter som blir ferdige langt raskere enn mediantiden for sin vei gjennom spørreskjemaet, fjernes.
• Rettlinjesvar: identiske svar nedover hele matriser, særlig der påstandene peker i motsatt retning, flagges og gjennomgås.
• Oppmerksomhetstester: kontrollspørsmål med instruert svar avslører respondenter som ikke leser spørsmålene.
• Åpne svar: meningsløse svar, kopiert tekst og svar uten sammenheng med spørsmålet flagges, sammen med dupliserte respondenter.
• Konsistens: motsigelser, for eksempel at en ikke-bruker vurderer et produkt i detalj, kontrolleres sak for sak.

Rapporten oppgir hvor mange intervjuer som ble fjernet og hvorfor, slik at du selv kan vurdere det rensede utvalget.

Kvalitative metoder

Kvalitative undersøkelser begynner med rekruttering. Et screeningskjema kontrollerer at hver deltaker passer profilen, ikke nylig har deltatt i lignende undersøkelser og ikke har faglig tilknytning til kategorien. Vi rekrutterer en blanding av profiler innenfor hver gruppe, slik at ikke én type synspunkt dominerer.

Modereringen følger en intervjuguide som er avtalt med deg på forhånd, men moderatoren står fritt til å følge uventede spor. Fokusgrupper og dybdeintervjuer tas opp med samtykke og transkriberes; observatører kan følge med direkte eller på nett der formatet tillater det.

Analysen er tematisk: Transkripsjonene kodes mot problemstillingene og mot temaer som vokser fram av materialet, og konklusjonene underbygges med ordrette sitater. Vi er tydelige på hva kvalitative undersøkelser kan vise, nemlig årsaker, språk, barrierer og ideer, og hva de ikke kan vise, som andeler eller markedsstørrelser, som krever en spørreundersøkelse.

Åpne data på nettstedet

De åpne dataene på nettstedet kommer fra tre primærutgivere: Eurostat for EU-dekkende statistikk om husholdninger, bedrifter og bransjer, Verdensbankens World Development Indicators for befolkning og BNP, og CBS StatLine for nederlandsk forbrukertillit. Hvert diagram oppgir utgiver, datasettkode og siste viste år, slik at hvert tall kan kontrolleres hos kilden.

Tallene hentes direkte fra utgivernes databaser i stedet for å kopieres fra sekundære nettsteder, og de oppdateres når en ny publisering kommer. Vi justerer eller anslår ikke offisielle verdier; der en serie har hull, for eksempel år der en Eurostat-modul ikke ble gjennomført, viser diagrammet hullet i stedet for å fylle det. I rapportene står hvert tall fra desk research med kilde og år i teksten. Se markedsdata-delen.

Slik bruker vi KI

Vi bruker KI-verktøy der de sparer tid uten å erstatte faglig skjønn: en første runde med koding av åpne svar, utkast til sammendrag av intervjutranskripsjoner, første utkast til oversettelser og søkefasen i desk research. Alt som KI produserer, kontrolleres av en analytiker før det brukes, koder og temaer verifiseres mot de opprinnelige svarene, og oversettelser kontrolleres av en person med språket som morsmål.

Vi bruker ikke syntetiske respondenter som erstatning for ekte. Språkmodeller kan hjelpe med å formulere hypoteser eller teste om et spørreskjema er klart, men svarene deres er ikke data om markedet ditt. Personopplysninger og konfidensielt materiale fra oppdragsgivere legges ikke inn i KI-verktøy uten et avtalegrunnlag som beskytter dem. Artikkelen vår om markedsundersøkelser med KI drøfter begrensningene mer inngående.

Ofte stilte spørsmål

Bruker dere sannsynlighetsutvalg eller ikke-sannsynlighetsutvalg?

Begge deler, avhengig av hvilken utvalgsramme som finnes. Undersøkelser blant dine egne kunder eller medlemmer kan ofte bruke tilfeldige utvalg fra en fullstendig liste. Forbrukerundersøkelser bygger vanligvis på onlinepaneler eller telefonutvalg med kvoter, som er ikke-sannsynlighetsutvalg. Vi oppgir tydelig hvilken type som ble brukt, og tolker feilmarginer for kvoteutvalg som veiledende, ikke eksakte.

Hvor mange intervjuer fjerner dere under datarensingen?

Det avhenger av utvalgskilden, lengden på spørreskjemaet og målgruppen, så vi arbeider ikke etter en fast kvote for fjerning. Hver rapport oppgir hvor mange fullførte intervjuer som ble fjernet, av hvilken grunn og om det ble rekruttert erstatninger, slik at du kan se hvordan rensingen påvirket det endelige utvalget.

Kan vi observere fokusgrupper eller lytte til intervjuer?

Som regel, ja. Fokusgrupper kan observeres direkte eller via videolenke, og du kan lytte til utvalgte telefonintervjuer eller opptak, forutsatt at deltakerne har samtykket. Observatører deltar ikke i diskusjonen og er bundet av de samme reglene for konfidensialitet som analyseteamet.

Vekter dere dataene fra spørreundersøkelser?

Når det oppnådde utvalget avviker fra populasjonen på kjennetegn som påvirker resultatene, vekter vi det mot kjente befolkningstall, vanligvis alder, kjønn og region. Vi holder vektene innenfor rimelige grenser, oppgir den effektive utvalgsstørrelsen og viser uvektede baser i tabellene, slik at du kan se hvor mye vektingen betyr.

Bruker dere ChatGPT til å skrive rapporter?

Ingen rapport skrives av et KI-verktøy. Analytikere skriver analysen og konklusjonene. Vi kan bruke KI til å gjøre bestemte oppgaver raskere, for eksempel en første koding av åpne svar eller et utkast til sammendrag av en transkripsjon, men en analytiker kontrollerer alt mot de underliggende dataene før noe havner i en rapport.