Kalkulator istotności testu A/B: czy różnica jest rzeczywista?

Jak korzystać z kalkulatora

1. Wpisać liczbę odwiedzających, odbiorców lub respondentów, którzy zobaczyli wariant A, i liczbę osób, które dokonały konwersji.
2. Wpisać te same dwie wartości dla wariantu B.
3. Odczytać współczynniki konwersji, względny wzrost, wartość z i wartość p.
4. Jeśli wynik nie jest istotny, sprawdzić wymaganą próbę na wariant, aby ocenić, jak długo test musiałby jeszcze trwać.

Wzór i logika obliczeń

Kalkulator przeprowadza test z dla dwóch proporcji:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Tutaj p_A i p_B to współczynniki konwersji obu wariantów, n_A i n_B to liczby odwiedzających, a p to łączny współczynnik konwersji: wszystkie konwersje podzielone przez wszystkich odwiedzających. Dwustronna wartość p to prawdopodobieństwo uzyskania różnicy co najmniej tak dużej, w dowolnym kierunku, gdyby warianty w rzeczywistości działały tak samo. Względny wzrost to p_B / p_A − 1.

Wymagana próba na wariant wynosi:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

przy z₁₋α/₂ = 1,96 dla poziomu ufności 95% i z₁₋β ≈ 0,84 dla mocy testu 80%.

Przykład: wariant A ma 200 konwersji na 5 000 odwiedzających (4,0%), a wariant B 230 na 5 000 (4,6%). Wzrost wynosi +15%, ale z = 1,48 i p = 0,14, więc różnica nie jest istotna na poziomie 5%. Wiarygodne wykrycie zmiany z 4,0% do 4,6% wymagałoby około 17 900 odwiedzających na wariant.

Jak interpretować wynik

Wartość p poniżej 0,05 oznacza, że tak duża różnica byłaby mało prawdopodobna, gdyby warianty działały jednakowo; nie mówi jednak, jak duży jest rzeczywisty efekt ani czy warto na jego podstawie działać. Obok wartości p trzeba patrzeć na wzrost i jego wartość biznesową.

Najczęstszy błąd to zatrzymanie testu, gdy tylko po raz pierwszy wygląda na istotny. Wielokrotne sprawdzanie zwiększa szansę na fałszywego zwycięzcę, dlatego wielkość próby należy ustalić z góry i doprowadzić test do końca, najlepiej w pełnych tygodniach, aby objąć zachowania w dni robocze i w weekendy. Przed startem trzeba wybrać jeden główny wskaźnik; jeśli porównuje się wiele wskaźników lub kilka wariantów, niektóre będą wyglądać na istotne przez przypadek.

Ten sam test sprawdza się dla danych z ankiet, np. aby ocenić, czy dwie grupy respondentów różnią się odpowiedzią na pytanie typu tak/nie, o ile obie grupy są niezależne. Testowanie materiałów kreatywnych przed emisją opisujemy na stronach testów reklam i testów koncepcji; hasło istotność statystyczna w słowniczku wyjaśnia logikę, na której opiera się test.