Калкулатор за A/B тест и статистическа значимост

Как се ползва

Въведете броя на посетителите (или получателите) и броя на конверсиите за вариант A.
Въведете същите данни за вариант B.
Прочетете p-value и относителния ръст: при p-value под 0,05 разликата е значима при ниво на доверие 95%.
Ако тестът още не е стартирал, въведете базовата конверсия и минималния ръст, който Ви интересува, за да видите нужната извадка.

Формула и логика

Калкулаторът използва двупропорционален z-тест. Конверсиите са p_A = конверсии_A / n_A и p_B = конверсии_B / n_B, а обединеният дял е p = (конверсии_A + конверсии_B) / (n_A + n_B).

z = (p_B − p_A) / √(p(1 − p)(1/n_A + 1/n_B))

От z се изчислява двустранното p-value — вероятността да видите поне толкова голяма разлика, ако в действителност вариантите са еднакви. Относителният ръст е p_B / p_A − 1.

Нужната извадка на вариант при 95% ниво на доверие и мощност 80% е:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

където z₁₋α/₂ = 1,96, z₁₋β ≈ 0,84, p₁ е базовата конверсия, а p₂ е очакваната.

Пример: вариант A има 60 конверсии от 2 000 посетители (3,0%), а B — 84 от 2 000 (4,2%). z ≈ 2,04, p-value ≈ 0,04, а ръстът е 40%. Разликата е значима при 95%.

Как да тълкувате резултата

Статистическата значимост казва само дали разликата вероятно не е случайна, а не дали е голяма или важна за бизнеса. При много голям трафик и малка разлика ще получите значим резултат, който не си струва промяната; при малък трафик реален ефект може да остане незабелязан.

Малките подобрения изискват много трафик. За да откриете ръст от 3,0% на 3,6% (относително +20%) при 95% ниво на доверие и мощност 80%, са нужни около 13 900 посетители на вариант. Затова изберете минималния ръст, който има смисъл за Вас, преди да стартирате теста.

Три грешки обезсмислят теста: спиране, щом p-value падне под 0,05, при което рискът от фалшиво положителен резултат расте; сравняване на много варианти или показатели без корекция; промяна на трафика или кампанията по време на теста. Определете извадката и продължителността предварително и оставете теста да обхване поне един пълен седмичен цикъл. Когато трафикът не стига, тестът на реклама с анкета дава отговор и за причината, а не само за победителя.

Често задавани въпроси

Какво означава p-value 0,05?

Ако между вариантите в действителност нямаше разлика, разлика поне толкова голяма като наблюдаваната би се появила случайно в около 5% от тестовете. Това не е вероятността B да е по-добър и не показва колко голям е ефектът. Затова гледайте p-value заедно с ръста и с доверителния интервал на разликата.

Колко дълго да продължи A/B тестът?

Докато събере предварително изчислената извадка на вариант и обхване поне един пълен седмичен цикъл, защото поведението в делник и в почивен ден се различава. Не спирайте теста при първия значим резултат и не го удължавайте, докато „стане значим“. Ако нужната извадка изисква месеци, тествайте по-голяма промяна или по-честа конверсия, например клик вместо покупка.

Мога ли да тествам повече от два варианта?

Да, но всеки допълнителен вариант увеличава шанса някоя разлика да изглежда значима случайно. Калкулаторът сравнява два варианта; ако тествате повече, сравнявайте всеки с контролата и използвайте по-строг праг, например като разделите 0,05 на броя на сравненията. Повече варианти изискват и повече трафик за същата чувствителност на теста.

Защо калкулаторът използва двустранен тест?

Двустранният тест проверява дали вариантите се различават в която и да е посока — B може да е и по-лош от A. Това е по-консервативният избор и предпазва от прибързано обявяване на победител. Едностранният тест е оправдан само ако предварително сте решили, че ще действате единствено при подобрение и резултат „по-лошо“ няма да промени решението Ви.

Конверсия A
Конверсия B
Разлика (относителна)
p-value

Калкулатор за статистическа значимост на A/B тест

Как се ползва

Формула и логика

Как да тълкувате резултата

Често задавани въпроси

Свързани доклади

Тест на реклама

UX проучване

Тест на концепция и продукт

Кажете ни какво искате да разберете