Signifikanskalkylator för A/B-test: är skillnaden verklig?

Så använder du verktyget

1. Ange antalet besökare, mottagare eller respondenter som såg variant A och hur många av dem som konverterade.
2. Ange samma två siffror för variant B.
3. Läs av konverteringsgraderna, den relativa förbättringen, z-värdet och p-värdet.
4. Om resultatet inte är signifikant kan du kontrollera det nödvändiga urvalet per variant för att se hur mycket längre testet skulle behöva pågå.

Formel och logik

Kalkylatorn genomför ett z-test för två andelar:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Här är p_A och p_B de två varianternas konverteringsgrader, n_A och n_B antalet besökare och p den sammanvägda konverteringsgraden: alla konverteringar dividerade med alla besökare. Det tvåsidiga p-värdet är sannolikheten för en skillnad som är minst så här stor, i någon riktning, om varianterna i själva verket presterade lika. Den relativa förbättringen är p_B / p_A − 1.

Det nödvändiga urvalet per variant är:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

med z₁₋α/₂ = 1,96 för 95 % konfidensnivå och z₁₋β ≈ 0,84 för 80 % styrka.

Exempel: A konverterar 200 av 5 000 besökare (4,0 %) och B konverterar 230 av 5 000 (4,6 %). Förbättringen är +15 %, men z = 1,48 och p = 0,14, så skillnaden är inte signifikant på 5-procentsnivån. För att på ett tillförlitligt sätt upptäcka en förändring från 4,0 % till 4,6 % skulle det krävas omkring 17 900 besökare per variant.

Så tolkar du resultatet

Ett p-värde under 0,05 betyder att en så här stor skillnad vore osannolik om varianterna presterade lika; det säger inte hur stor den verkliga effekten är eller om den är värd att agera på. Titta på förbättringen och dess affärsvärde vid sidan av p-värdet.

Det vanligaste felet är att avbryta ett test så snart det för första gången ser signifikant ut. Upprepade kontroller ökar risken för en falsk vinnare, så bestäm urvalsstorleken i förväg och låt testet löpa till slutet, helst över hela veckor för att täcka beteendet både på vardagar och helger. Välj ett primärt mått före starten; om du jämför många mått eller flera varianter kommer några att se signifikanta ut av ren slump.

Samma test fungerar för enkätdata, till exempel för att kontrollera om två grupper av respondenter skiljer sig i sitt svar på en ja/nej-fråga, så länge de två grupperna är oberoende. För test av reklam och material före lansering, se våra tjänster för reklamtest och koncepttest; ordlistans artikel om statistisk signifikans förklarar den bakomliggande logiken.