A/B-Test-Rechner: Ist der Unterschied echt?

So verwenden Sie den Rechner

1. Geben Sie die Zahl der Besucher, Empfänger oder Befragten ein, die Variante A gesehen haben, und wie viele davon konvertiert sind.
2. Geben Sie dieselben zwei Werte für Variante B ein.
3. Lesen Sie die Konversionsraten, den relativen Uplift, den z-Wert und den p-Wert ab.
4. Ist das Ergebnis nicht signifikant, prüfen Sie die erforderliche Stichprobe je Variante, um zu sehen, wie lange der Test noch laufen müsste.

Formel und Logik

Der Rechner führt einen z-Test für zwei Anteile durch:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Dabei sind p_A und p_B die Konversionsraten der beiden Varianten, n_A und n_B die Besucherzahlen, und p ist die gepoolte Konversionsrate: alle Konversionen geteilt durch alle Besucher. Der zweiseitige p-Wert ist die Wahrscheinlichkeit für einen mindestens so großen Unterschied in die eine oder andere Richtung, falls beide Varianten in Wahrheit gleich gut abschneiden. Der relative Uplift beträgt p_B / p_A − 1.

Die erforderliche Stichprobe je Variante beträgt:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

mit z₁₋α/₂ = 1,96 für 95 % Konfidenz und z₁₋β ≈ 0,84 für 80 % Teststärke.

Beispiel: A konvertiert 200 von 5.000 Besuchern (4,0 %), B konvertiert 230 von 5.000 (4,6 %). Der Uplift beträgt +15 %, doch z = 1,48 und p = 0,14; der Unterschied ist auf dem 5-%-Niveau also nicht signifikant. Um eine Veränderung von 4,0 % auf 4,6 % verlässlich zu erkennen, wären etwa 17.900 Besucher je Variante nötig.

So lesen Sie das Ergebnis

Ein p-Wert unter 0,05 bedeutet, dass ein so großer Unterschied unwahrscheinlich wäre, wenn beide Varianten gleich gut abschnitten; er sagt nichts darüber, wie groß der wahre Effekt ist oder ob es sich lohnt, darauf zu reagieren. Betrachten Sie den Uplift und seinen geschäftlichen Wert zusammen mit dem p-Wert.

Der häufigste Fehler ist, einen Test zu stoppen, sobald er zum ersten Mal signifikant aussieht. Wiederholtes Nachsehen erhöht die Wahrscheinlichkeit eines falschen Siegers; legen Sie die Stichprobengröße daher vorab fest und lassen Sie den Test bis zum Ende laufen, idealerweise über ganze Wochen, um das Verhalten an Werktagen und Wochenenden abzudecken. Wählen Sie vor dem Start eine primäre Kennzahl; wenn Sie viele Kennzahlen oder mehrere Varianten vergleichen, werden einige allein durch Zufall signifikant erscheinen.

Derselbe Test funktioniert für Umfragedaten, etwa um zu prüfen, ob sich zwei Gruppen von Befragten bei einer Ja-Nein-Frage unterscheiden, sofern die beiden Gruppen unabhängig sind. Zum Testen von Werbemitteln vor dem Start siehe unsere Leistungen Werbetest und Konzepttest; der Glossareintrag zur statistischen Signifikanz erklärt die zugrunde liegende Logik.