Calcolatore di significatività per test A/B: la differenza è reale?

Come si usa

1. Inserire il numero di visitatori, destinatari o rispondenti che hanno visto la variante A e quanti di loro hanno convertito.
2. Inserire gli stessi due dati per la variante B.
3. Leggere i tassi di conversione, l'uplift relativo, lo z-score e il p-value.
4. Se il risultato non è significativo, controllare il campione necessario per variante per capire quanto più a lungo dovrebbe durare il test.

Formula e logica

Il calcolatore esegue un test z su due proporzioni:

z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))

Qui p_A e p_B sono i tassi di conversione delle due varianti, n_A e n_B il numero di visitatori, e p è il tasso di conversione aggregato: tutte le conversioni divise per tutti i visitatori. Il p-value bilaterale è la probabilità di osservare una differenza almeno così ampia, in una direzione o nell'altra, se le varianti avessero in realtà lo stesso rendimento. L'uplift relativo è p_B / p_A − 1.

Il campione necessario per variante è:

n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

con z₁₋α/₂ = 1,96 per una confidenza del 95% e z₁₋β ≈ 0,84 per una potenza dell'80%.

Esempio: A converte 200 visitatori su 5.000 (4,0%) e B ne converte 230 su 5.000 (4,6%). L'uplift è del +15%, ma z = 1,48 e p = 0,14, quindi la differenza non è significativa al livello del 5%. Per rilevare in modo affidabile un passaggio dal 4,0% al 4,6% servirebbero circa 17.900 visitatori per variante.

Come leggere il risultato

Un p-value inferiore a 0,05 significa che una differenza così ampia sarebbe improbabile se le varianti avessero lo stesso rendimento; non dice quanto sia grande l'effetto reale né se valga la pena di agire. Accanto al p-value vanno considerati l'uplift e il suo valore per il business.

L'errore più comune è interrompere un test non appena sembra significativo per la prima volta. I controlli ripetuti aumentano la probabilità di un falso vincitore, quindi la dimensione del campione va fissata in anticipo e il test va portato a termine, idealmente su settimane intere per coprire il comportamento nei giorni feriali e nel fine settimana. Prima dell'avvio si sceglie un'unica metrica principale; se si confrontano molte metriche o più varianti, alcune sembreranno significative per puro caso.

Lo stesso test funziona per i dati da sondaggio, per esempio per verificare se due gruppi di rispondenti differiscono nella risposta a una domanda sì/no, purché i due gruppi siano indipendenti. Per testare le creatività prima del lancio, si vedano i nostri servizi di test pubblicitari e di concept test; la voce di glossario sulla significatività statistica spiega la logica di fondo.