Калькулятор значимости A/B-теста: реальна ли разница?

Как пользоваться

1. Введите число посетителей, получателей или респондентов, увидевших вариант A, и сколько из них совершили конверсию.
2. Введите те же два показателя для варианта B.
3. Посмотрите на конверсии, относительный прирост, z-значение и p-value.
4. Если результат незначим, проверьте требуемую выборку на вариант, чтобы понять, сколько еще должен длиться тест.

Формула и логика

Калькулятор выполняет z-тест для двух долей:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Здесь p_A и p_B — конверсии двух вариантов, n_A и n_B — число посетителей, а p — объединенная конверсия: все конверсии, деленные на всех посетителей. Двусторонний p-value — это вероятность получить разницу не меньше наблюдаемой в любую сторону, если на самом деле варианты работают одинаково. Относительный прирост равен p_B / p_A − 1.

Требуемая выборка на один вариант:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

где z₁₋α/₂ = 1,96 для 95-процентного уровня доверия и z₁₋β ≈ 0,84 для мощности 80%.

Пример: вариант A конвертирует 200 из 5 000 посетителей (4,0%), вариант B — 230 из 5 000 (4,6%). Прирост составляет +15%, но z = 1,48 и p = 0,14, поэтому разница незначима на уровне 5%. Чтобы надежно обнаружить изменение с 4,0% до 4,6%, понадобилось бы около 17 900 посетителей на каждый вариант.

Как читать результат

p-value ниже 0,05 означает, что разница такого размера была бы маловероятна, если бы варианты работали одинаково; он не говорит, насколько велик истинный эффект и стоит ли на него реагировать. Смотрите на прирост и его ценность для бизнеса вместе с p-value.

Самая распространенная ошибка — остановить тест, как только он впервые выглядит значимым. Многократные проверки повышают вероятность ложного победителя, поэтому задайте размер выборки заранее и доведите тест до конца, в идеале на протяжении целых недель, чтобы охватить поведение и в будни, и в выходные. Выберите одну основную метрику до старта; если сравнивать много метрик или несколько вариантов, часть из них окажется «значимой» случайно.

Тот же тест работает и для данных опросов, например чтобы проверить, различаются ли две группы респондентов в ответе на вопрос «да/нет», при условии что группы независимы. О тестировании креатива до запуска читайте на страницах услуг тестирования рекламы и тестирования концепций; статья глоссария о статистической значимости объясняет лежащую в основе логику.