Калькулятор статистичної значущості A/B-тесту: чи справжня різниця?

Як користуватися

1. Введіть кількість відвідувачів, одержувачів чи респондентів, які бачили варіант A, і скільки з них здійснили конверсію.
2. Введіть ті самі дві цифри для варіанта B.
3. Прочитайте коефіцієнти конверсії, відносний приріст, z-значення та p-значення.
4. Якщо результат не значущий, подивіться на потрібну вибірку на варіант, щоб зрозуміти, скільки ще має тривати тест.

Формула та логіка

Калькулятор виконує z-тест для двох часток:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Тут p_A і p_B — коефіцієнти конверсії двох варіантів, n_A і n_B — кількість відвідувачів, а p — об’єднаний коефіцієнт конверсії: усі конверсії, поділені на всіх відвідувачів. Двобічне p-значення — це ймовірність отримати різницю щонайменше такого розміру в будь-який бік, якби варіанти насправді працювали однаково. Відносний приріст дорівнює p_B / p_A − 1.

Потрібна вибірка на варіант:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

де z₁₋α/₂ = 1,96 для 95-відсоткового рівня довіри та z₁₋β ≈ 0,84 для 80-відсоткової потужності.

Приклад: варіант A конвертує 200 із 5 000 відвідувачів (4,0%), а B — 230 із 5 000 (4,6%). Приріст становить +15%, але z = 1,48 і p = 0,14, тож на рівні 5% різниця не значуща. Щоб надійно виявити зміну з 4,0% до 4,6%, знадобилося б близько 17 900 відвідувачів на варіант.

Як читати результат

P-значення нижче 0,05 означає, що різниця такого розміру була б малоймовірною, якби варіанти працювали однаково; воно не каже, наскільки великий справжній ефект і чи варто на нього реагувати. Дивіться на приріст і його цінність для бізнесу разом із p-значенням.

Найпоширеніша помилка — зупиняти тест, щойно він уперше видається значущим. Повторні перевірки збільшують імовірність хибного переможця, тож визначте розмір вибірки заздалегідь і доведіть тест до кінця, бажано протягом повних тижнів, щоб охопити поведінку в будні та вихідні. Оберіть одну головну метрику ще до старту; якщо ви порівнюєте багато метрик чи кілька варіантів, деякі з них видаватимуться значущими випадково.

Той самий тест працює і для даних опитувань, наприклад щоб перевірити, чи різняться дві групи респондентів у відповіді на запитання «так/ні», за умови що групи незалежні. Для тестування креативу перед запуском скористайтеся нашими послугами тестування реклами і тестування концепцій; статтю глосарію про статистичну значущість присвячено логіці, що лежить в основі.