Beregn signifikans i en A/B-test: er forskellen reel?

Sådan bruger du den

1. Angiv antallet af besøgende, modtagere eller respondenter, der så variant A, og hvor mange af dem der konverterede.
2. Angiv de samme to tal for variant B.
3. Aflæs konverteringsraterne, den relative forbedring, z-værdien og p-værdien.
4. Er resultatet ikke signifikant, så tjek den nødvendige stikprøve pr. variant for at se, hvor meget længere testen skal køre.

Formel og logik

Beregneren gennemfører en z-test for to andele:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Her er p_A og p_B de to varianters konverteringsrater, n_A og n_B er antallet af besøgende, og p er den samlede konverteringsrate: alle konverteringer divideret med alle besøgende. Den tosidede p-værdi er sandsynligheden for en forskel, der er mindst så stor, i den ene eller anden retning, hvis varianterne i virkeligheden klarede sig ens. Den relative forbedring er p_B / p_A − 1.

Den nødvendige stikprøve pr. variant er:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

med z₁₋α/₂ = 1,96 for 95 % konfidens og z₁₋β ≈ 0,84 for 80 % styrke.

Eksempel: A konverterer 200 af 5.000 besøgende (4,0 %), og B konverterer 230 af 5.000 (4,6 %). Forbedringen er +15 %, men z = 1,48 og p = 0,14, så forskellen er ikke signifikant på 5 %-niveauet. For pålideligt at påvise en ændring fra 4,0 % til 4,6 % skal der bruges omkring 17.900 besøgende pr. variant.

Sådan læser du resultatet

En p-værdi under 0,05 betyder, at en så stor forskel ville være usandsynlig, hvis varianterne klarede sig lige godt; den fortæller dig ikke, hvor stor den sande effekt er, eller om den er værd at handle på. Se på forbedringen og dens forretningsmæssige værdi sammen med p-værdien.

Den mest almindelige fejl er at stoppe en test, så snart den første gang ser signifikant ud. Gentagne kig øger risikoen for en falsk vinder, så fastsæt stikprøvestørrelsen på forhånd, og lad testen køre til ende, helst over hele uger, så både hverdags- og weekendadfærd er dækket. Vælg én primær måleparameter før start; sammenligner du mange måleparametre eller flere varianter, vil nogle se signifikante ud ved et tilfælde.

Samme test virker på data fra spørgeundersøgelser, fx til at tjekke, om to grupper af respondenter svarer forskelligt på et ja/nej-spørgsmål, så længe de to grupper er uafhængige. Til test af kreative udtryk før lancering kan du se vores ydelser inden for test af reklamer og koncepttest; opslaget om statistisk signifikans i ordlisten forklarer den bagvedliggende logik.