Mode d’emploi
- Saisissez le nombre de visiteurs, de destinataires ou de répondants exposés à la variante A, et combien d’entre eux ont converti.
- Saisissez les deux mêmes chiffres pour la variante B.
- Lisez les taux de conversion, la hausse relative, le score z et la valeur p.
- Si le résultat n’est pas significatif, consultez l’échantillon requis par variante pour savoir combien de temps le test devrait encore durer.
Formule et logique
Le calculateur effectue un test z de comparaison de deux proportions :
z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))
Ici, p_A et p_B sont les taux de conversion des deux variantes, n_A et n_B les nombres de visiteurs, et p le taux de conversion combiné : toutes les conversions divisées par tous les visiteurs. La valeur p bilatérale est la probabilité d’observer un écart au moins aussi grand, dans un sens ou dans l’autre, si les variantes avaient en réalité la même performance. La hausse relative vaut p_B / p_A − 1.
L’échantillon requis par variante est :
n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²
avec z₁₋α/₂ = 1,96 pour 95 % de confiance et z₁₋β ≈ 0,84 pour une puissance de 80 %.
Exemple : A convertit 200 visiteurs sur 5 000 (4,0 %) et B en convertit 230 sur 5 000 (4,6 %). La hausse est de +15 %, mais z = 1,48 et p = 0,14 : l’écart n’est donc pas significatif au seuil de 5 %. Pour détecter de manière fiable un passage de 4,0 % à 4,6 %, il faudrait environ 17 900 visiteurs par variante.
Comment lire le résultat
Une valeur p inférieure à 0,05 signifie qu’un écart aussi grand serait peu probable si les variantes avaient la même performance ; elle ne dit ni quelle est l’ampleur réelle de l’effet, ni s’il vaut la peine d’agir. Examinez la hausse et sa valeur économique en même temps que la valeur p.
L’erreur la plus fréquente consiste à arrêter un test dès qu’il semble significatif pour la première fois. Des vérifications répétées augmentent le risque de désigner un faux gagnant : fixez donc la taille d’échantillon à l’avance et menez le test jusqu’au bout, idéalement sur des semaines complètes pour couvrir les comportements de semaine et de week-end. Choisissez un indicateur principal avant le lancement ; si vous comparez de nombreux indicateurs ou plusieurs variantes, certains paraîtront significatifs par hasard.
Le même test fonctionne pour des données d’enquête, par exemple pour vérifier si deux groupes de répondants diffèrent dans leur réponse à une question oui/non, à condition que les deux groupes soient indépendants. Pour tester des créations avant leur lancement, consultez nos services de pré-test publicitaire et de test de concept ; l’entrée du glossaire consacrée à la significativité statistique en explique la logique.
Questions fréquentes
Quelle valeur p est considérée comme significative ?
Le seuil habituel est 0,05, ce qui correspond à 95 % de confiance dans un test bilatéral. Certaines équipes retiennent 0,10 pour des modifications à faible risque et 0,01 pour des décisions coûteuses à annuler. Fixez le seuil avant le début du test : le modifier après avoir vu le résultat fragilise la conclusion.
Puis-je arrêter le test dès qu’il devient significatif ?
Non, pas avec ce type de test. Un test z à échantillon fixe suppose que vous examinez le résultat une seule fois, à la taille d’échantillon prévue. Si vous vérifiez chaque jour et arrêtez à la première lecture significative, le taux réel de faux positifs dépasse largement 5 %. Planifiez l’échantillon avec le calculateur, puis attendez que les deux variantes l’aient atteint.
Pourquoi détecter une faible hausse demande-t-il autant de visiteurs ?
Parce que l’échantillon requis croît avec l’inverse du carré de l’écart. Diviser par deux l’écart à détecter multiplie l’échantillon par quatre environ. Des taux de conversion de base faibles aggravent la situation, car chaque visiteur apporte peu d’information. Si le trafic est limité, testez des modifications plus marquées, ou mesurez une étape plus fréquente, comme les clics plutôt que les achats.
Puis-je l’utiliser pour une enquête ou un test de publipostage ?
Oui. Toute comparaison de deux proportions indépendantes convient : taux de réponse de deux envois, adhésion à une affirmation dans deux régions, ou intention d’achat pour deux concepts présentés à des échantillons distincts. Si les mêmes répondants ont évalué les deux options, les échantillons ne sont pas indépendants et il faut alors un test apparié. Pour être accompagné dans la conception de ces expériences, demandez une proposition.
Études associées
Test publicitaire
Le test publicitaire mesure si une annonce est remarquée, si elle est attribuée à la bonne marque, si elle transmet le…
Lire →Recherche UX
La recherche UX étudie la façon dont de vrais utilisateurs interagissent avec un site, une application ou un service…
Lire →Test de concept et de produit
Le test de concept mesure la réaction des acheteurs ciblés face à une nouvelle idée de produit, une recette, un…
Lire →