What is statistical power in A/B testing?

Statistical power is the probability that your test will detect a real effect if one exists.

What power level should I aim for?

80% is the widely accepted minimum. Use 90% or higher for high-stakes tests.

Should I do power analysis before or after my test?

Before. Post-hoc power analysis using the observed effect size is statistically invalid.

Calculadora de potencia estadística para tests A/B

Question: Does my test have enough statistical power to detect the expected effect?

Determina la potencia estadística de tu test A/B. Descubre qué tamaños de efecto puedes detectar de forma fiable con tu tamaño de muestra y tráfico actuales.

Cómo usar esta calculadora

Introduce el tamaño de muestra por variante, la tasa de conversión base y el efecto mínimo detectable que deseas evaluar. La calculadora muestra la potencia estadística, es decir, la probabilidad de que tu test detecte correctamente un efecto real de ese tamaño. Ajusta el MDE para ver la curva de potencia, que muestra cómo varía la potencia para distintos tamaños de efecto.

Entendiendo la potencia estadística

La potencia estadística es la probabilidad de que un test rechace correctamente la hipótesis nula cuando existe un efecto real. Se calcula como 1 menos la tasa de error Tipo II (beta). La potencia depende de cuatro factores: el tamaño de muestra, el tamaño del efecto, el nivel de significancia (alfa) y la tasa de conversión base. Una mayor potencia significa menos falsos negativos: es menos probable que no detectes una mejora real. El mínimo estándar es el 80%, lo que significa que tienes un 80% de probabilidad de detectar un efecto verdadero.

Cuándo usar esta calculadora

Utiliza el análisis de potencia antes de ejecutar un test para verificar que tu tamaño de muestra sea adecuado, o después de un test que no muestre resultado significativo para comprender si tenías suficiente potencia para detectar el efecto que te importaba. Un resultado no significativo en un test con potencia insuficiente no significa que no haya efecto, sino que tu test no fue capaz de detectarlo. Esta distinción es fundamental para una interpretación correcta.

Errores comunes en el análisis de potencia

El error más común es ejecutar tests con potencia insuficiente (por debajo del 80%) y luego concluir que no hay efecto cuando el resultado no es significativo. Otro error es calcular la potencia después del test usando el tamaño de efecto observado, lo que constituye un razonamiento circular (análisis de potencia post-hoc). La potencia debe calcularse antes del test usando el tamaño de efecto mínimo que te interesa, no el efecto que realmente observaste.