Kalkulator for signifikans i A/B-tester: er forskjellen reell?

Slik bruker du kalkulatoren

1. Skriv inn antallet besøkende, mottakere eller respondenter som så variant A, og hvor mange av dem som konverterte.
2. Skriv inn de samme to tallene for variant B.
3. Les av konverteringsratene, den relative økningen, z-verdien og p-verdien.
4. Er resultatet ikke signifikant, sjekker du nødvendig utvalg per variant for å se hvor mye lenger testen må kjøre.

Formel og logikk

Kalkulatoren kjører en z-test for to andeler:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Her er p_A og p_B konverteringsratene for de to variantene, n_A og n_B er antallet besøkende, og p er den samlede konverteringsraten: alle konverteringer delt på alle besøkende. Den tosidige p-verdien er sannsynligheten for en forskjell som er minst så stor, i en av retningene, hvis variantene i virkeligheten presterte likt. Den relative økningen er p_B / p_A − 1.

Nødvendig utvalg per variant er:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

med z₁₋α/₂ = 1,96 for 95 % konfidensnivå og z₁₋β ≈ 0,84 for 80 % styrke.

Eksempel: A konverterer 200 av 5 000 besøkende (4,0 %), og B konverterer 230 av 5 000 (4,6 %). Økningen er +15 %, men z = 1,48 og p = 0,14, så forskjellen er ikke signifikant på 5 %-nivået. For å påvise en endring fra 4,0 % til 4,6 % på en pålitelig måte ville du trengt rundt 17 900 besøkende per variant.

Slik leser du resultatet

En p-verdi under 0,05 betyr at en så stor forskjell ville vært usannsynlig hvis variantene presterte likt; den forteller deg ikke hvor stor den sanne effekten er, eller om det lønner seg å handle på den. Se på økningen og forretningsverdien ved siden av p-verdien.

Den vanligste feilen er å stoppe en test så snart den første gang ser signifikant ut. Gjentatte kontroller øker sjansen for en falsk vinner, så fastsett utvalgsstørrelsen på forhånd og kjør testen til ende, helst over hele uker for å dekke atferden både på hverdager og i helger. Velg ett primært mål før start; sammenligner du mange mål eller flere varianter, vil noen se signifikante ut ved en tilfeldighet.

Den samme testen fungerer for data fra spørreundersøkelser, for eksempel for å sjekke om to grupper respondenter skiller seg i svaret på et ja/nei-spørsmål, så lenge de to gruppene er uavhengige. For testing av kreativt materiell før lansering, se tjenestene våre for reklametesting og konsepttesting; ordlisteoppslaget om statistisk signifikans forklarer logikken bak.