Cómo se usa
- Introduzca el número de visitantes, destinatarios o encuestados que vieron la variante A y cuántos de ellos convirtieron.
- Introduzca las mismas dos cifras para la variante B.
- Lea las tasas de conversión, la mejora relativa, el valor z y el valor p.
- Si el resultado no es significativo, consulte la muestra necesaria por variante para ver cuánto tiempo más tendría que durar la prueba.
Fórmula y lógica
La calculadora aplica una prueba z para dos proporciones:
z = (p_B − p_A) / √(p(1 − p) · (1/n_A + 1/n_B))
Aquí p_A y p_B son las tasas de conversión de las dos variantes, n_A y n_B son los números de visitantes y p es la tasa de conversión conjunta: todas las conversiones divididas entre todos los visitantes. El valor p bilateral es la probabilidad de obtener una diferencia al menos así de grande, en cualquier dirección, si las variantes funcionaran realmente igual. La mejora relativa es p_B / p_A − 1.
La muestra necesaria por variante es:
n ≈ (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²
con z₁₋α/₂ = 1,96 para un 95 % de confianza y z₁₋β ≈ 0,84 para una potencia del 80 %.
Ejemplo: A convierte a 200 de 5.000 visitantes (4,0 %) y B convierte a 230 de 5.000 (4,6 %). La mejora es del +15 %, pero z = 1,48 y p = 0,14, así que la diferencia no es significativa al nivel del 5 %. Detectar con fiabilidad un cambio del 4,0 % al 4,6 % requeriría unos 17.900 visitantes por variante.
Cómo interpretar el resultado
Un valor p inferior a 0,05 significa que una diferencia así de grande sería improbable si las variantes funcionaran igual; no indica cuál es el tamaño real del efecto ni si merece la pena actuar en consecuencia. Mire la mejora y su valor para el negocio junto al valor p.
El error más común es detener una prueba en cuanto parece significativa por primera vez. Comprobar el resultado repetidamente aumenta la probabilidad de declarar un ganador falso, así que fije el tamaño de muestra de antemano y lleve la prueba hasta el final, idealmente durante semanas completas para cubrir el comportamiento de los días laborables y del fin de semana. Elija una métrica principal antes de empezar; si compara muchas métricas o varias variantes, algunas parecerán significativas por azar.
La misma prueba sirve para datos de encuesta, por ejemplo para comprobar si dos grupos de encuestados difieren en su respuesta a una pregunta de sí o no, siempre que los dos grupos sean independientes. Para probar piezas creativas antes del lanzamiento, consulte nuestros servicios de test de publicidad y test de concepto; la entrada del glosario sobre significación estadística explica la lógica de fondo.
Preguntas frecuentes
¿Qué valor p se considera significativo?
El umbral habitual es 0,05, que corresponde a un 95 % de confianza en una prueba bilateral. Algunos equipos utilizan 0,10 para cambios de bajo riesgo y 0,01 para decisiones costosas de revertir. Fije el umbral antes de que empiece la prueba; cambiarlo después de ver el resultado debilita la conclusión.
¿Puedo detener la prueba en cuanto sea significativa?
No con este tipo de prueba. Una prueba z de muestra fija presupone que el resultado se mira una sola vez, al alcanzar el tamaño de muestra previsto. Si lo comprueba a diario y se detiene en la primera lectura significativa, la tasa real de falsos positivos sube muy por encima del 5 %. Planifique la muestra con la calculadora y espere a que ambas variantes la alcancen.
¿Por qué detectar una mejora pequeña requiere tantos visitantes?
Porque la muestra necesaria crece con el inverso del cuadrado de la diferencia. Reducir a la mitad la diferencia que se quiere detectar multiplica la muestra aproximadamente por cuatro. Las tasas de conversión de partida bajas lo empeoran, ya que cada visitante aporta poca información. Si el tráfico es limitado, pruebe cambios más ambiciosos o mida un paso que ocurra con más frecuencia, como los clics en lugar de las compras.
¿Puedo usarla para una encuesta o una prueba de buzoneo?
Sí. Sirve cualquier comparación de dos proporciones independientes: las tasas de respuesta de dos envíos postales, el acuerdo con una afirmación en dos regiones o la intención de compra de dos conceptos mostrados a muestras distintas. Si los mismos encuestados valoraron ambas opciones, las muestras no son independientes y se necesita en su lugar una prueba para datos emparejados. Si necesita ayuda para diseñar este tipo de experimentos, solicite una propuesta.
Informes relacionados
Test publicitario
El test publicitario mide si un anuncio llama la atención, se asocia a la marca correcta, transmite el mensaje previsto…
Leer →Investigación UX
La investigación UX estudia cómo interactúan los usuarios reales con una web, una aplicación o un servicio digital: qué…
Leer →Test de concepto y producto
El test de concepto mide cómo reaccionan los compradores objetivo ante una nueva idea de producto, receta, diseño de…
Leer →