Calculator de semnificație pentru testul A/B: este diferența reală?

Cum se folosește

1. Introduceți numărul de vizitatori, destinatari sau respondenți care au văzut varianta A și câți dintre ei au convertit.
2. Introduceți aceleași două cifre pentru varianta B.
3. Citiți ratele de conversie, creșterea relativă, scorul z și valoarea p.
4. Dacă rezultatul nu este semnificativ, verificați eșantionul necesar pe variantă pentru a vedea cât timp ar mai trebui să ruleze testul.

Formulă și logică

Calculatorul aplică un test z pentru două proporții:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Aici p_A și p_B sunt ratele de conversie ale celor două variante, n_A și n_B sunt numerele de vizitatori, iar p este rata de conversie cumulată: toate conversiile împărțite la toți vizitatorii. Valoarea p bilaterală este probabilitatea unei diferențe cel puțin la fel de mari, în oricare direcție, dacă variantele ar avea în realitate aceeași performanță. Creșterea relativă este p_B / p_A − 1.

Eșantionul necesar pe variantă este:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

cu z₁₋α/₂ = 1,96 pentru un nivel de încredere de 95% și z₁₋β ≈ 0,84 pentru o putere de 80%.

Exemplu: A convertește 200 din 5.000 de vizitatori (4,0%), iar B convertește 230 din 5.000 (4,6%). Creșterea este de +15%, dar z = 1,48 și p = 0,14, deci diferența nu este semnificativă la pragul de 5%. Detectarea fiabilă a unei schimbări de la 4,0% la 4,6% ar necesita aproximativ 17.900 de vizitatori pe variantă.

Cum se citește rezultatul

O valoare p sub 0,05 înseamnă că o diferență atât de mare ar fi improbabilă dacă variantele ar avea aceeași performanță; nu vă spune cât de mare este efectul real și nici dacă merită să acționați pe baza lui. Analizați creșterea și valoarea ei pentru afacere alături de valoarea p.

Cea mai frecventă greșeală este oprirea testului imediat ce pare pentru prima dată semnificativ. Verificările repetate cresc probabilitatea unui câștigător fals, așa că stabiliți dinainte mărimea eșantionului și rulați testul până la capăt, ideal pe săptămâni întregi, pentru a acoperi comportamentul din zilele lucrătoare și din weekend. Alegeți un singur indicator principal înainte de start; dacă comparați mulți indicatori sau mai multe variante, unii vor părea semnificativi din întâmplare.

Același test funcționează și pentru datele din sondaje, de exemplu pentru a verifica dacă două grupuri de respondenți diferă în răspunsul la o întrebare de tip da/nu, cu condiția ca grupurile să fie independente. Pentru testarea materialelor creative înainte de lansare, consultați serviciile noastre de testare a reclamelor și de testare a conceptelor; intrarea din glosar despre semnificația statistică explică logica din spate.