Metode: sådan designer, kontrollerer og rapporterer vi undersøgelser

Standarder

Vi arbejder efter principperne i ICC/ESOMAR's internationale kodeks for markeds-, meningsmålings- og samfundsundersøgelser. I praksis betyder det, at undersøgelser holdes adskilt fra salg, at respondenterne deltager frivilligt og får at vide, hvem der indsamler data og hvorfor, at børn og andre sårbare personer får ekstra beskyttelse, og at resultaterne rapporteres ærligt, også når kunden måske ikke bryder sig om dem.

Vi bruger ISO 20252, den internationale standard for processer i markeds-, meningsmålings- og samfundsundersøgelser, som referenceramme for, hvordan et projekt planlægges, dokumenteres og kontrolleres. Vi påstår ikke at være certificeret efter den; vi bruger dens struktur som tjekliste, så hver fase, fra brief til arkivering, efterlader et spor.

Personoplysninger behandles efter GDPR. Respondenterne giver informeret samtykke, vi indsamler kun det, undersøgelsen kræver, og identificerende oplysninger adskilles fra svarene eller fjernes, før datafilerne leveres.

Stikprøver og statistik

Hver stikprøve begynder med en definition af populationen: præcis hvem resultaterne skal beskrive, i hvilket land og på hvilket tidspunkt. Derefter vælger vi udvælgelsesgrundlaget, den liste eller kilde, respondenterne udtrækkes fra, og angiver, hvor den ikke dækker populationen fuldt ud.

De fleste forbrugerundersøgelser bruger kvoteudvælgelse fra onlinepaneler eller telefonstikprøver med kvoter på alder, køn og region, der afspejler den officielle befolkningsstatistik. Hvor en sandsynlighedsstikprøve er mulig, for eksempel ud fra en komplet kundeliste, bruger vi tilfældig eller stratificeret udvælgelse. Efter feltarbejdet korrigeres mindre skævheder med vægtning, og vi angiver den effektive stikprøvestørrelse, så det er synligt, hvad vægtningen koster i præcision.

Stikprøvens størrelse følger af den præcision, der er brug for i den mindste undergruppe, der har betydning, ikke af et rundt tal. Med 95 % konfidens giver omkring 385 interviews en fejlmargin på cirka ±5 procentpoint for et resultat omkring 50 %; vores beregner til stikprøvestørrelse viser regnestykket. For ikke-sandsynlighedsstikprøver præsenterer vi fejlmarginer som en rettesnor og ikke som en fast grænse.

Kvalitetskontrol

Kontrol af feltarbejdet

Telefoninterviews overvåges live eller ud fra optagelser, og en andel af hver interviewers arbejde kontrolleres. Personlige interviews og mystery shopping-besøg verificeres mod tidsstempler, lokationer og kvitteringer, hvor de findes. Onlinefeltarbejde overvåges dagligt for kvoteopfyldelse, frafaldspunkter og usædvanlige svarmønstre, og vi gennemfører en blød lancering før det fulde feltarbejde for at fange fejl i spørgeskemaets logik.

Datarensning

Før analysen gennemgår hvert datasæt fra en spørgeskemaundersøgelse en dokumenteret datarensning:

• Speedere: Respondenter, der bliver færdige langt hurtigere end mediantiden for deres vej gennem spørgeskemaet, fjernes.
• Straightlining: Identiske svar ned gennem hele matrixspørgsmål, især hvor udsagnene peger i modsatte retninger, markeres og gennemgås.
• Opmærksomhedstjek: Kontrolspørgsmål med et angivet svar afslører respondenter, der ikke læser spørgsmålene.
• Åbne svar: Meningsløse svar, kopieret tekst og svar uden forbindelse til spørgsmålet markeres sammen med dobbelte respondenter.
• Konsistens: Modsigelser, for eksempel at en ikke-bruger vurderer et produkt i detaljer, kontrolleres enkeltvis.

Rapporten angiver, hvor mange interviews der blev fjernet og hvorfor, så du selv kan vurdere den rensede stikprøve.

Kvalitative metoder

Kvalitative undersøgelser begynder med rekrutteringen. Et screeningskema kontrollerer, at hver deltager passer til profilen, ikke har deltaget i lignende undersøgelser for nylig og ikke har nogen faglig tilknytning til kategorien. Vi rekrutterer en blanding af profiler i hver gruppe, så én type synspunkt ikke dominerer.

Modereringen følger en interviewguide, der er aftalt med dig på forhånd, men moderatoren kan frit forfølge uventede spor. Fokusgrupper og dybdeinterviews optages med samtykke og transskriberes; observatører kan følge med live eller online, hvor formatet tillader det.

Analysen er tematisk: Transskriptionerne kodes ud fra undersøgelsesspørgsmålene og ud fra temaer, der dukker op i materialet, og konklusionerne underbygges med ordrette citater. Vi er tydelige om, hvad kvalitative undersøgelser kan vise, nemlig årsager, sprogbrug, barrierer og idéer, og hvad de ikke kan, for eksempel andele eller markedsstørrelser, der kræver en spørgeskemaundersøgelse.

Åbne data på dette site

De åbne data på dette site kommer fra tre primære udgivere: Eurostat for EU-dækkende statistik om husholdninger, virksomheder og brancher, Verdensbankens World Development Indicators for befolkning og BNP og CBS StatLine for nederlandsk forbrugertillid. Hver graf angiver udgiveren, datasættets kode og det seneste viste år, så ethvert tal kan efterprøves hos kilden.

Tallene hentes direkte fra udgivernes databaser i stedet for at blive kopieret fra sekundære websites, og de opdateres, når der kommer en ny udgivelse. Vi justerer eller estimerer ikke officielle værdier; hvor en serie har huller, for eksempel år hvor et Eurostat-undersøgelsesmodul ikke blev gennemført, viser grafen hullet i stedet for at udfylde det. I rapporterne står kilde og år ved hvert tal fra desk research i teksten. Se afsnittet med markedsdata.

Sådan bruger vi AI

Vi bruger AI-værktøjer, hvor de sparer tid uden at erstatte faglig vurdering: en første kodning af åbne svar, udkast til resuméer af interviewtransskriptioner, første udkast til oversættelser og søgefasen i desk research. Hvert AI-output kontrolleres af en analytiker, før det bruges, koder og temaer efterprøves mod de rå svar, og oversættelser kontrolleres af en person med sproget som modersmål.

Vi bruger ikke syntetiske respondenter som erstatning for rigtige. Sprogmodeller kan hjælpe med at formulere hypoteser eller teste, om et spørgeskema er klart, men deres svar er ikke data om dit marked. Personoplysninger og fortroligt kundemateriale indtastes ikke i AI-værktøjer uden et kontraktligt grundlag, der beskytter dem. Vores artikel om markedsanalyse med AI gennemgår begrænsningerne mere detaljeret.

Ofte stillede spørgsmål

Bruger I sandsynligheds- eller ikke-sandsynlighedsstikprøver?

Begge dele, afhængigt af det tilgængelige udvælgelsesgrundlag. Undersøgelser blandt dine egne kunder eller medlemmer kan ofte bruge tilfældige stikprøver fra en komplet liste. Forbrugerundersøgelser bygger som regel på onlinepaneler eller telefonstikprøver med kvoter, og det er ikke-sandsynlighedsstikprøver. Vi angiver tydeligt, hvilken type der er brugt, og vi tolker fejlmarginer for kvotestikprøver som vejledende og ikke som eksakte.

Hvor mange interviews fjerner I ved datarensningen?

Det afhænger af stikprøvekilden, spørgeskemaets længde og målgruppen, så vi arbejder ikke med en fast kvote for frasorteringer. Hver rapport angiver, hvor mange gennemførte interviews der blev fjernet, af hvilken grund og om der blev rekrutteret erstatninger, så du kan se, hvordan rensningen har påvirket den endelige stikprøve.

Kan vi overvære fokusgrupper eller lytte med på interviews?

Som regel ja. Fokusgrupper kan følges live eller via videolink, og du kan lytte til udvalgte telefoninterviews eller optagelser, forudsat at deltagerne har givet samtykke. Observatører deltager ikke i diskussionen og er bundet af de samme fortrolighedsregler som analyseteamet.

Vægter I data fra spørgeskemaundersøgelser?

Når den opnåede stikprøve afviger fra populationen på kendetegn, der påvirker resultaterne, vægter vi den til kendte befolkningstal, typisk alder, køn og region. Vi holder vægtene inden for fornuftige grænser, angiver den effektive stikprøvestørrelse og viser de uvægtede baser i tabellerne, så du kan se, hvor meget vægtningen betyder.

Bruger I ChatGPT til at skrive rapporter?

Ingen rapport er skrevet af et AI-værktøj. Analytikerne skriver analysen og konklusionerne. Vi kan bruge AI til at gøre bestemte opgaver hurtigere, for eksempel en første kodning af åbne svar eller et udkast til et resumé af en transskription, men en analytiker kontrollerer hvert output mod de underliggende data, før noget kommer med i en rapport.