Methodologie en kwaliteit van ons onderzoek

Normen

We werken volgens de principes van de ICC/ESOMAR International Code, de internationale gedragscode voor markt-, opinie- en sociaal onderzoek. De kern: deelname is vrijwillig, respondenten weten waarvoor hun antwoorden dienen, onderzoek wordt nooit gebruikt als verkooppraatje, en de opdrachtgever krijgt geen herleidbare gegevens zonder toestemming van de respondent.

Voor de opzet en uitvoering van projecten gebruiken we ISO 20252 als referentiekader: een vastgelegde briefing, een gedocumenteerde steekproef, controle van het veldwerk en een rapport waarin de methode is verantwoord. We claimen daarmee geen certificering; we gebruiken de norm als checklist.

Persoonsgegevens van respondenten verwerken we volgens de AVG: een duidelijke grondslag, geïnformeerde toestemming, niet meer gegevens dan nodig en zo snel mogelijk gepseudonimiseerd. In Nederland is MOA de brancheorganisatie voor marketing insights, onderzoek en analytics. Wil je bureaus vergelijken, vraag dan bij elk bureau, ook bij ons, naar welke code het werkt en hoe het dat aantoont.

Steekproef en statistiek

Elke kwantitatieve studie begint met een definitie van de populatie: wie tellen mee, in welk gebied, in welke periode. Daarna kiezen we het steekproefkader, de lijst of het panel waaruit we respondenten trekken, zoals een klantenbestand, een online panel of, voor B2B, een selectie uit het KvK Handelsregister op SBI-code.

• Aselecte steekproef: iedereen in het kader heeft een bekende kans om mee te doen. Dit is de basis voor de klassieke foutmarge.
• Quotasteekproef: we vullen vooraf vastgestelde aantallen naar bijvoorbeeld leeftijd, geslacht en provincie, op basis van CBS-bevolkingscijfers. Dit is de gangbare aanpak bij online panels.
• Weging: wijkt de nettosteekproef af van de populatie, dan corrigeren we met weging. We rapporteren de effectieve steekproefomvang, omdat zware gewichten de nauwkeurigheid verlagen.

De foutmarge geven we bij een betrouwbaarheidsniveau van 95%. Bij 385 volledige interviews en een aselecte steekproef is die maximaal ongeveer ±5 procentpunt; bij subgroepen is ze groter. Bij quotasteekproeven is de foutmarge een benadering, en dat zeggen we er ook bij. Reken zelf met de steekproefcalculator.

Kwaliteitscontrole

Tijdens het veldwerk kijken we dagelijks naar de binnenkomende data: respons per quotum, invultijden en de verdeling van antwoorden. Elke vragenlijst draait eerst in een pilot met een klein aantal respondenten, zodat onduidelijke vragen en fouten in de routing vóór de hoofdmeting worden opgelost.

Voor de analyse schonen we het bestand op. We verwijderen of markeren:

• speeders: respondenten die veel sneller invullen dan realistisch is, bijvoorbeeld in minder dan de helft van de mediane invultijd;
• straightlining: wie in een matrixvraag bij elke stelling hetzelfde antwoord geeft;
• respondenten die een aandachtsvraag missen, zoals "kies hier 'helemaal mee oneens'";
• dubbele deelnames en onzinnige open antwoorden.

Bij telefonische en persoonlijke interviews controleren we een deel van de gesprekken achteraf. Open antwoorden worden gecodeerd volgens een codeboek dat we eerst op een deel van de antwoorden testen. In het rapport vermelden we hoeveel respondenten zijn verwijderd en waarom.

Kwalitatieve methoden

Bij focusgroepen en diepte-interviews gaat het om de juiste mensen en een goed gesprek. Deelnemers werven we met een screener: een korte vragenlijst die controleert of iemand echt tot de doelgroep behoort en die beroepsdeelnemers en mensen uit de branche zelf uitsluit.

Een moderator leidt het gesprek aan de hand van een gespreksleidraad die je vooraf goedkeurt. De leidraad bepaalt de thema's, niet de exacte vragen: de moderator vraagt door op wat deelnemers zeggen en voorkomt dat één dominante stem de groep stuurt.

Gesprekken worden met toestemming opgenomen en uitgeschreven. De analyse verloopt per thema: we vergelijken wat deelnemers zeggen, zoeken patronen en tegenstrijdigheden, en onderbouwen elke conclusie met geanonimiseerde citaten. Kwalitatief onderzoek levert inzicht in motieven en taal, geen percentages; die grens bewaken we ook in de rapportage.

Open data op deze site

De grafieken in De markt in cijfers komen uit drie openbare bronnen: Eurostat, de World Development Indicators van de Wereldbank en CBS StatLine. We halen de cijfers rechtstreeks op via de open API's van die instellingen en wijzigen ze niet; alleen de weergave, zoals afronding, passen we aan.

Bij elke reeks bewaren we de bron, de tabelcode (bijvoorbeeld isoc_ec_ib20 bij Eurostat of 83693NED bij CBS), de datum van de laatste update en een link naar de oorspronkelijke tabel. Die gegevens staan bij de grafiek, en de onderliggende data kun je als JSON downloaden. Publiceert de bron nieuwe of herziene cijfers, dan nemen we die bij de volgende update over. In teksten noemen we bij elk getal het jaar en de bron. Cijfers van Eurostat en CBS over hetzelfde onderwerp kunnen verschillen door een andere methode of seizoenscorrectie; dan vermelden we beide en leggen we het verschil uit.

Hoe we AI gebruiken

We gebruiken AI-tools als hulpmiddel, niet als vervanging van onderzoek. Toepassingen zijn een eerste indeling van open antwoorden, samenvattingen van uitgeschreven interviews, conceptvertalingen van vragenlijsten en het doorzoeken van grote hoeveelheden publicaties bij deskresearch. Een onderzoeker controleert elke uitkomst: codes worden steekproefsgewijs nagelopen, samenvattingen vergeleken met de transcripten en vertalingen gecontroleerd door iemand die de taal beheerst.

We gebruiken geen synthetische respondenten als vervanging van echte mensen. Door AI gegenereerde antwoorden kunnen helpen om een vragenlijst te testen of hypotheses te formuleren, maar ze meten niet wat je klanten denken. Herleidbare respondentgegevens voeren we niet in openbare AI-tools in. Gebruiken we AI in een project, dan staat in de methodeverantwoording waarvoor.

Veelgestelde vragen

Werken jullie volgens een gedragscode?

Ja. We werken volgens de principes van de ICC/ESOMAR International Code en houden ons aan de AVG. Dat betekent vrijwillige deelname, geïnformeerde toestemming, geen verkoop onder het mom van onderzoek en geen herleidbare respondentgegevens voor de opdrachtgever zonder toestemming. ISO 20252 gebruiken we als kader voor de projectopzet, zonder een certificering te claimen.

Hoe groot moet mijn steekproef zijn?

Dat hangt af van de gewenste nauwkeurigheid en van de subgroepen die je wilt vergelijken. Voor een foutmarge van ongeveer ±5 procentpunt bij 95% betrouwbaarheid heb je circa 385 volledige interviews nodig. Wil je ook mannen en vrouwen of regio's vergelijken, dan moet elke subgroep groot genoeg zijn. Met de steekproefcalculator bereken je het zelf.

Zijn online panels betrouwbaar?

Online panels zijn geen aselecte steekproef van de bevolking: deelnemers hebben zich zelf aangemeld. Met goede quota, weging en datacontrole leveren ze voor veel vragen bruikbare resultaten op. Minder geschikt zijn ze voor groepen die weinig online zijn of voor het meten van precieze aandelen in de hele bevolking. We bespreken in het voorstel welk panel we gebruiken en waarom.

Hoe controleren jullie de kwaliteit van antwoorden?

Met een pilot vóór de hoofdmeting, dagelijkse controle van het veldwerk en het opschonen van het bestand. We verwijderen speeders, straightliners, respondenten die een aandachtsvraag missen en dubbele deelnames. Bij telefonisch en persoonlijk veldwerk controleren we een deel van de interviews achteraf. Het aantal verwijderde respondenten staat in het rapport.

Gebruiken jullie AI in plaats van echte respondenten?

Nee. AI helpt ons bij het coderen van open antwoorden, het samenvatten van interviews en het verwerken van bronnen, altijd met menselijke controle. Synthetische respondenten zetten we niet in als vervanging van echte mensen, omdat ze niet meten wat je klanten werkelijk denken. In het artikel over marktonderzoek met AI lees je meer over de kansen en grenzen.