Zo gebruik je het
- Vul voor variant A (de huidige versie) het aantal bezoekers en het aantal conversies in.
- Doe hetzelfde voor variant B (de nieuwe versie).
- Lees de conversieratio's, de relatieve stijging en de p-waarde af.
- Is het resultaat niet significant, kijk dan naar de benodigde steekproef per variant om te zien hoe lang de test nog moet lopen.
Formule en logica
De calculator gebruikt een tweezijdige z-toets voor twee proporties. Eerst de conversieratio's p_A en p_B (conversies gedeeld door bezoekers) en het gepoolde aandeel p (alle conversies gedeeld door alle bezoekers). Dan:
- z = (p_B − p_A) / √(p(1 − p)(1/n_A + 1/n_B))
Daarbij zijn n_A en n_B de aantallen bezoekers per variant. Uit z volgt de tweezijdige p-waarde; bij p < 0,05 is het verschil significant op het niveau van 95%. De relatieve stijging is:
- stijging = p_B / p_A − 1
De benodigde steekproef per variant, bij 95% betrouwbaarheid en een onderscheidend vermogen van 80%, is:
- n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²
met z₁₋α/₂ = 1,96 en z₁₋β ≈ 0,84; p₁ is de huidige conversie en p₂ de conversie die je wilt kunnen aantonen.
Voorbeeld: A heeft 200 conversies op 5.000 bezoekers (4,0%), B 230 op 5.000 (4,6%). De stijging is 15%, maar z ≈ 1,48 en p ≈ 0,14: niet significant.
Zo lees je het resultaat
Een significant resultaat betekent dat een verschil van deze omvang onwaarschijnlijk is als de varianten in werkelijkheid even goed presteren. Het zegt niet hoe groot het echte effect is; daarvoor kijk je naar de stijging en het interval eromheen.
In het voorbeeld lijkt 15% stijging veel, maar om een verschil van 4,0% naar 4,6% betrouwbaar aan te tonen heb je ongeveer 17.940 bezoekers per variant nodig. Voor een stijging van 4,0% naar 5,0% zijn dat er ongeveer 6.743. Kleine verbeteringen vragen dus veel verkeer.
Veelgemaakte fouten:
- Stoppen zodra het resultaat significant is. Wie dagelijks kijkt en bij de eerste p < 0,05 stopt, vindt veel vaker een effect dat er niet is. Bepaal de steekproef vooraf.
- Te kort testen. Laat een test minstens één of twee volledige weken lopen, zodat verschillen tussen werkdagen en weekend tegen elkaar wegvallen.
- Te veel varianten of meetpunten tegelijk. Hoe meer vergelijkingen, hoe groter de kans op een toevalstreffer.
Meer over statistische significantie en de A/B-test lees je in de begrippenlijst.
Veelgestelde vragen
Wat betekent een p-waarde van 0,05?
Een p-waarde van 0,05 betekent dat je een verschil van deze omvang, of groter, in 5% van de gevallen door toeval zou zien als de twee varianten in werkelijkheid gelijk presteren. Het is niet de kans dat variant B beter is. Een p-waarde onder 0,05 is de gangbare grens voor significantie, maar kies die grens vóór de test en houd je eraan.
Hoe lang moet mijn A/B-test lopen?
Tot je het vooraf berekende aantal bezoekers per variant hebt bereikt, en minimaal één tot twee volledige weken. Deel de benodigde steekproef door het aantal bezoekers per dag per variant om de duur te schatten. Komt daar een onrealistisch lange periode uit, test dan een grotere verandering of een pagina met meer verkeer.
Waarom is mijn test niet significant terwijl B duidelijk beter lijkt?
Omdat de steekproef te klein is voor het verschil dat je ziet. Bij lage conversieratio's ontstaan door toeval al snel verschillen van tien of twintig procent. De calculator toont hoeveel bezoekers je per variant nodig hebt om zo'n verschil betrouwbaar aan te tonen. Is dat aantal niet haalbaar, dan is het eerlijke antwoord: deze test kan het verschil niet aantonen.
Kan ik de calculator gebruiken om enquêteresultaten te vergelijken?
Ja. Vergelijk je bijvoorbeeld het aandeel tevreden klanten in twee regio's, vul dan per regio het aantal respondenten en het aantal tevreden klanten in. De toets laat zien of het verschil groter is dan je door toeval zou verwachten. Voor de nauwkeurigheid van één percentage gebruik je de foutmargecalculator; voor de opzet van een volledig experiment kun je een concepttest laten doen.
Gerelateerd onderzoek
Reclameonderzoek
Reclameonderzoek meet of een campagne doet wat ze moet doen: opvallen, begrepen worden, aan jouw merk gekoppeld worden…
Lees →UX-onderzoek
UX-onderzoek is onderzoek naar hoe echte gebruikers je website, webshop of app gebruiken: waar ze vastlopen, wat ze…
Lees →Concept- en producttest
Een concepttest is een onderzoek waarin je doelgroep een nieuw product-, verpakkings- of naamidee beoordeelt voordat je…
Lees →