Méthodologie : comment nous concevons, vérifions et restituons nos études

Normes et codes de conduite

Nous travaillons selon les principes du Code international ICC/ESOMAR sur les études de marché, d’opinion et sociales. Concrètement, la recherche reste séparée de la vente, les répondants participent volontairement et sont informés de qui collecte les données et pourquoi, les enfants et les autres personnes vulnérables bénéficient d’une protection renforcée, et les résultats sont restitués honnêtement, y compris ceux que le client n’espérait pas.

Nous utilisons la norme ISO 20252, norme internationale relative aux processus des études de marché, d’opinion et sociales, comme cadre de référence pour la planification, la documentation et le contrôle d’un projet. Nous ne revendiquons pas de certification ; nous nous servons de sa structure comme d’une liste de contrôle, pour que chaque étape, du brief à l’archivage, laisse une trace.

Les données personnelles sont traitées conformément au RGPD. Les répondants donnent leur consentement éclairé, nous ne collectons que ce dont l’étude a besoin, et les informations d’identification sont séparées des réponses ou supprimées avant la livraison des fichiers de données.

Échantillonnage et statistique

Tout échantillon part d’une définition de la population : qui exactement les résultats doivent décrire, dans quel pays et à quelle date. Nous choisissons ensuite la base de sondage, c’est-à-dire la liste ou la source dans laquelle les répondants sont tirés, et indiquons en quoi elle ne couvre pas toute la population.

La plupart des enquêtes consommateurs reposent sur un échantillonnage par quotas à partir de panels en ligne ou d’échantillons téléphoniques, avec des quotas d’âge, de sexe et de région calés sur les statistiques officielles de population. Lorsqu’un échantillon probabiliste est réalisable, par exemple à partir d’un fichier clients complet, nous recourons à un échantillonnage aléatoire ou à un échantillonnage stratifié. Après le terrain, les petits déséquilibres sont corrigés par pondération, et nous indiquons la taille d’échantillon effective pour rendre visible ce que la pondération coûte en précision.

La taille de l’échantillon découle de la précision requise dans le plus petit sous-groupe qui compte, et non d’un chiffre rond. À un niveau de confiance de 95 %, environ 385 entretiens donnent une marge d’erreur d’environ ±5 points de pourcentage pour un résultat proche de 50 % ; notre calculateur de taille d’échantillon détaille le calcul. Pour les échantillons non probabilistes, nous présentons les marges d’erreur comme un ordre de grandeur plutôt que comme une borne stricte.

Contrôle qualité

Contrôle du terrain

Les entretiens téléphoniques sont écoutés en direct ou à partir des enregistrements, et une partie du travail de chaque enquêteur est contrôlée. Les entretiens en face à face et les visites mystère sont vérifiés à l’aide des horodatages, des localisations et, lorsqu’ils existent, des tickets de caisse. Le terrain en ligne est suivi chaque jour (remplissage des quotas, points d’abandon, profils de réponse inhabituels), et nous effectuons un lancement test avant le terrain complet pour détecter les erreurs de filtrage.

Nettoyage des données

Avant l’analyse, chaque jeu de données d’enquête fait l’objet d’un nettoyage des données documenté :

• Speeders : les répondants qui terminent bien plus vite que le temps médian de leur parcours dans le questionnaire sont écartés.
• Straightlining : les réponses identiques sur des grilles entières, surtout lorsque les items vont en sens opposés, sont signalées et examinées.
• Questions de contrôle d’attention : des items à réponse imposée révèlent les répondants qui ne lisent pas les questions.
• Réponses ouvertes : les réponses absurdes, les textes copiés-collés et les réponses sans rapport avec la question sont signalés, de même que les répondants en double.
• Cohérence : les contradictions, comme un non-utilisateur qui évalue un produit en détail, sont vérifiées au cas par cas.

Le rapport indique combien d’entretiens ont été écartés et pour quelle raison : vous pouvez ainsi juger par vous-même l’échantillon nettoyé.

Méthodes qualitatives

Une étude qualitative commence par le recrutement. Un questionnaire de recrutement vérifie que chaque participant correspond au profil, n’a pas participé récemment à une étude similaire et n’a aucun lien professionnel avec la catégorie. Nous recrutons des profils variés au sein de chaque groupe, afin qu’aucun type de point de vue ne domine.

L’animation suit un guide d’entretien validé avec vous à l’avance, mais l’animateur reste libre de suivre des pistes inattendues. Les focus groups et les entretiens approfondis sont enregistrés avec l’accord des participants et retranscrits ; les observateurs peuvent suivre les échanges sur place ou à distance lorsque le format le permet.

L’analyse est thématique : les transcriptions sont codées au regard des questions de l’étude et des thèmes qui émergent du matériau, et les conclusions s’appuient sur des verbatims. Nous sommes explicites sur ce que le qualitatif peut montrer, à savoir des raisons, un vocabulaire, des freins et des idées, et sur ce qu’il ne peut pas montrer, comme des parts ou des tailles de marché, qui nécessitent une enquête.

Les données ouvertes de ce site

Les données ouvertes de ce site proviennent de trois éditeurs primaires : Eurostat pour les statistiques à l’échelle de l’UE sur les ménages, les entreprises et les secteurs, les World Development Indicators de la Banque mondiale pour la population et le PIB, et CBS StatLine pour la confiance des consommateurs néerlandais. Chaque graphique indique l’éditeur, le code du jeu de données et la dernière année représentée : tout chiffre peut ainsi être vérifié à la source.

Les chiffres sont extraits directement des bases de données des éditeurs plutôt que copiés depuis des sites secondaires, et ils sont actualisés à chaque nouvelle publication. Nous ne corrigeons ni n’estimons les valeurs officielles ; lorsqu’une série présente des lacunes, par exemple des années où un module d’enquête d’Eurostat n’a pas été réalisé, le graphique montre la lacune au lieu de la combler. Dans les rapports, chaque chiffre issu de l’étude documentaire est accompagné de sa source et de son année dans le texte. Consultez la rubrique données de marché.

Notre usage de l’IA

Nous utilisons des outils d’IA là où ils font gagner du temps sans se substituer au jugement : premier passage de codification des réponses ouvertes, premiers jets de synthèse de transcriptions d’entretiens, premières versions de traductions et phase de recherche de l’étude documentaire. Chaque production de l’IA est vérifiée par un chargé d’études avant utilisation, les codes et les thèmes sont contrôlés par rapport aux réponses brutes, et les traductions sont relues par un locuteur natif.

Nous n’utilisons pas de répondants synthétiques en remplacement de vrais répondants. Les modèles de langage peuvent aider à formuler des hypothèses ou à tester la clarté d’un questionnaire, mais leurs réponses ne sont pas des données sur votre marché. Les données personnelles et les documents confidentiels des clients ne sont pas saisis dans des outils d’IA sans une base contractuelle qui les protège. Notre article sur l’étude de marché avec l’IA détaille ces limites.

Questions fréquentes

Utilisez-vous des échantillons probabilistes ou non probabilistes ?

Les deux, selon la base de sondage disponible. Les enquêtes auprès de vos propres clients ou adhérents peuvent souvent s’appuyer sur un tirage aléatoire dans une liste complète. Les enquêtes consommateurs reposent généralement sur des panels en ligne ou des échantillons téléphoniques avec quotas, qui sont des échantillons non probabilistes. Nous indiquons clairement le type utilisé, et nous interprétons les marges d’erreur des échantillons par quotas comme indicatives plutôt qu’exactes.

Combien d’entretiens écartez-vous lors du nettoyage des données ?

Cela dépend de la source de l’échantillon, de la longueur du questionnaire et de la cible : nous ne travaillons donc pas avec un quota fixe de suppressions. Chaque rapport indique combien d’entretiens complets ont été écartés, pour quelle raison et s’ils ont été remplacés par de nouveaux répondants, afin que vous puissiez mesurer l’effet du nettoyage sur l’échantillon final.

Pouvons-nous observer les focus groups ou écouter les entretiens ?

En général, oui. Les focus groups peuvent être suivis en direct ou par liaison vidéo, et vous pouvez écouter certains entretiens téléphoniques ou enregistrements, à condition que les participants l’aient accepté. Les observateurs ne prennent pas part à la discussion et sont soumis aux mêmes règles de confidentialité que l’équipe d’études.

Pondérez-vous les données d’enquête ?

Lorsque l’échantillon obtenu s’écarte de la population sur des caractéristiques qui influent sur les résultats, nous le pondérons d’après des chiffres de population connus, en général l’âge, le sexe et la région. Nous maintenons les poids dans des limites raisonnables, indiquons la taille d’échantillon effective et affichons les bases non pondérées dans les tableaux, pour que vous voyiez quel poids a réellement la pondération.

Utilisez-vous ChatGPT pour rédiger les rapports ?

Aucun rapport n’est rédigé par un outil d’IA. Ce sont des chargés d’études qui rédigent l’analyse et les conclusions. Nous pouvons recourir à l’IA pour accélérer certaines tâches, comme un premier codage des réponses ouvertes ou un premier jet de synthèse de transcription, mais un chargé d’études vérifie chaque production au regard des données sous-jacentes avant que quoi que ce soit n’entre dans un rapport.