Metodik: så utformar, kontrollerar och rapporterar vi undersökningar

Standarder

Vi arbetar enligt principerna i ICC/ESOMAR:s internationella kod för marknads-, opinions- och samhällsundersökningar. I praktiken innebär det att undersökningar hålls åtskilda från försäljning, att respondenterna deltar frivilligt och får veta vem som samlar in uppgifterna och varför, att barn och andra sårbara personer får ett extra skydd och att resultaten redovisas ärligt, även sådana som kunden kanske inte välkomnar.

Vi använder ISO 20252, den internationella standarden för processer inom marknads-, opinions- och samhällsundersökningar, som referensram för hur ett projekt planeras, dokumenteras och kontrolleras. Vi gör inget anspråk på certifiering enligt standarden; vi använder dess struktur som checklista, så att varje steg, från brief till arkivering, lämnar dokumentation efter sig.

Personuppgifter behandlas enligt GDPR. Respondenterna lämnar informerat samtycke, vi samlar bara in det som studien behöver, och identifierande uppgifter skiljs från svaren eller tas bort innan datafiler levereras.

Urval och statistik

Varje urval börjar med en definition av populationen: exakt vilka resultaten ska beskriva, i vilket land och vid vilken tidpunkt. Därefter väljer vi urvalsram, alltså den lista eller källa som respondenterna dras från, och redovisar var den inte täcker populationen fullt ut.

De flesta konsumentenkäter använder kvoturval från onlinepaneler eller telefonurval, med kvoter för ålder, kön och region som speglar den officiella befolkningsstatistiken. Där ett sannolikhetsurval är möjligt, till exempel utifrån en komplett kundlista, använder vi slumpmässigt eller stratifierat urval. Efter fältarbetet korrigeras mindre obalanser med viktning, och vi redovisar den effektiva urvalsstorleken så att det syns vad viktningen kostar i precision.

Urvalsstorleken bestäms av den precision som behövs i den minsta delgrupp som spelar roll, inte av ett jämnt tal. Vid 95 % konfidensnivå ger cirka 385 intervjuer en felmarginal på ungefär ±5 procentenheter för ett resultat nära 50 %; vår kalkylator för urvalsstorlek visar uträkningen. För icke-sannolikhetsurval presenterar vi felmarginaler som en vägledning snarare än en strikt gräns.

Kvalitetskontroll

Kontroll av fältarbetet

Telefonintervjuer övervakas i realtid eller via inspelningar, och en andel av varje intervjuares arbete kontrolleras. Personliga intervjuer och besök inom mystery shopping verifieras mot tidsstämplar, platser och kvitton där sådana finns. Webbaserat fältarbete övervakas dagligen med avseende på kvotuppfyllnad, var respondenterna hoppar av och ovanliga svarsmönster, och vi gör en mjukstart före det fullskaliga fältarbetet för att fånga fel i frågelogiken.

Datarensning

Före analysen genomgår varje enkätdataset en dokumenterad datarensning:

• Speeders: respondenter som blir klara betydligt snabbare än mediantiden för sin väg genom enkäten tas bort.
• Straightlining: identiska svar rakt igenom hela frågematriser, särskilt där påståendena pekar åt motsatta håll, flaggas och granskas.
• Kontrollfrågor: frågor med en instruktion om vilket svar som ska väljas avslöjar respondenter som inte läser frågorna.
• Öppna svar: nonsens, kopierad text och svar som saknar koppling till frågan flaggas, liksom respondenter som förekommer flera gånger.
• Konsekvens: motsägelser, till exempel att någon som inte använder en produkt betygsätter den i detalj, kontrolleras fall för fall.

Rapporten anger hur många intervjuer som har tagits bort och varför, så att du själv kan bedöma det rensade urvalet.

Kvalitativa metoder

Kvalitativa undersökningar börjar med rekryteringen. Ett screeningformulär kontrollerar att varje deltagare passar profilen, inte nyligen har deltagit i liknande undersökningar och saknar yrkesmässig koppling till kategorin. Vi rekryterar en blandning av profiler i varje grupp, så att inte en typ av synsätt dominerar.

Modereringen följer en diskussionsguide som har stämts av med dig i förväg, men moderatorn är fri att följa upp oväntade spår. Fokusgrupper och djupintervjuer spelas in med samtycke och transkriberas; observatörer kan följa dem live eller online där formatet tillåter det.

Analysen är tematisk: utskrifterna kodas mot undersökningsfrågorna och mot teman som växer fram ur materialet, och slutsatserna underbyggs med ordagranna citat. Vi är tydliga med vad kvalitativa undersökningar kan visa, nämligen skäl, språkbruk, hinder och idéer, och vad de inte kan visa, till exempel andelar eller marknadsstorlekar, som kräver en enkät.

Öppna data på webbplatsen

De öppna data på den här webbplatsen kommer från tre primära utgivare: Eurostat för EU-gemensam statistik om hushåll, företag och branscher, Världsbankens World Development Indicators för befolkning och BNP samt CBS StatLine för nederländskt konsumentförtroende. Varje diagram anger utgivare, datasetkod och det senaste år som visas, så att varje siffra kan kontrolleras i källan.

Siffrorna hämtas direkt från utgivarnas databaser i stället för att kopieras från sekundära webbplatser, och de uppdateras när en ny publicering kommer ut. Vi justerar eller uppskattar inte officiella värden; där en serie har luckor, till exempel år då en modul i en Eurostat-undersökning inte genomfördes, visar diagrammet luckan i stället för att fylla den. I rapporterna anges källa och år i texten för varje siffra från skrivbordsundersökningen. Se avsnittet med marknadsdata.

Så använder vi AI

Vi använder AI-verktyg där de sparar tid utan att ersätta omdöme: ett första steg i kodningen av öppna svar, utkast till sammanfattningar av intervjuutskrifter, första utkast till översättningar och sökfasen i skrivbordsundersökningar. Allt som AI producerar kontrolleras av en analytiker innan det används, koder och teman verifieras mot de ursprungliga svaren och översättningar granskas av en person med språket som modersmål.

Vi använder inte syntetiska respondenter som ersättning för riktiga. Språkmodeller kan hjälpa till att formulera hypoteser eller testa om en enkät är tydlig, men deras svar är inte data om din marknad. Personuppgifter och konfidentiellt kundmaterial matas inte in i AI-verktyg utan ett avtal som skyddar dem. Vår artikel om marknadsundersökningar med AI går igenom begränsningarna mer i detalj.

Vanliga frågor

Använder ni sannolikhetsurval eller icke-sannolikhetsurval?

Båda, beroende på vilken urvalsram som finns. Undersökningar bland dina egna kunder eller medlemmar kan ofta använda slumpmässiga urval från en fullständig lista. Konsumentenkäter bygger vanligtvis på onlinepaneler eller telefonurval med kvoter, vilket är icke-sannolikhetsurval. Vi anger tydligt vilken typ som har använts, och vi tolkar felmarginaler för kvoturval som vägledande snarare än exakta.

Hur många intervjuer tar ni bort vid datarensningen?

Det beror på urvalskällan, enkätens längd och målgruppen, så vi arbetar inte med en fast kvot för borttagningar. Varje rapport anger hur många genomförda intervjuer som har tagits bort, av vilket skäl och om ersättare har rekryterats, så att du kan se hur rensningen påverkar det slutliga urvalet.

Kan vi observera fokusgrupper eller lyssna på intervjuer?

Oftast ja. Fokusgrupper kan observeras live eller via videolänk, och du kan lyssna på utvalda telefonintervjuer eller inspelningar, förutsatt att deltagarna har gett sitt samtycke. Observatörer deltar inte i diskussionen och omfattas av samma sekretessregler som undersökningsteamet.

Viktar ni enkätdata?

När det uppnådda urvalet skiljer sig från populationen i egenskaper som påverkar resultaten viktar vi det mot kända befolkningsuppgifter, vanligtvis ålder, kön och region. Vi håller vikterna inom rimliga gränser, redovisar den effektiva urvalsstorleken och visar oviktade baser i tabellerna, så att du kan se hur mycket viktningen betyder.

Använder ni ChatGPT för att skriva rapporter?

Ingen rapport skrivs av ett AI-verktyg. Analytiker skriver analysen och slutsatserna. Vi kan använda AI för att snabba upp vissa uppgifter, till exempel en första kodning av öppna svar eller ett utkast till sammanfattning av en utskrift, men en analytiker kontrollerar allt mot underliggande data innan något hamnar i en rapport.