Calculadora bayesiana para tests A/B
Question: What is the probability that variant B is better than A?
Analiza los resultados de tu test A/B usando estadística bayesiana. Obtén la probabilidad de que cada variante sea la mejor, la pérdida esperada por elegir la variante incorrecta e intervalos de credibilidad.
Cómo usar esta calculadora
Introduce el número de visitantes y conversiones del control y la variante. La calculadora utiliza un modelo Beta-Binomial con priors no informativos (Beta(1,1)) y ejecuta 50.000 simulaciones Monte Carlo para estimar la probabilidad de que cada variante sea superior. Los resultados se actualizan al instante al modificar los datos de entrada.
A/B testing bayesiano vs. frecuentista
A diferencia de los métodos frecuentistas que producen valores p, el análisis bayesiano proporciona una probabilidad directa de que una variante sea mejor. La distribución posterior de la tasa de conversión de cada variante se modela como una distribución Beta. La probabilidad de ser el mejor, la pérdida esperada y los intervalos de credibilidad se calculan a partir de muestras Monte Carlo extraídas de estas distribuciones posteriores. Este enfoque es más intuitivo para decisiones de negocio porque permite afirmaciones como "hay un 95% de probabilidad de que la Variante B sea mejor" en lugar de "el resultado es significativo al nivel del 5%".
Cuándo usar el análisis bayesiano
El A/B testing bayesiano es especialmente útil cuando necesitas comunicar probabilidades intuitivas a los stakeholders, cuando quieres tomar decisiones basadas en la pérdida esperada en lugar de la significancia estadística, o cuando tus tamaños de muestra son pequeños. También te permite incorporar conocimiento previo sobre las tasas de conversión si dispones de él. Muchas plataformas de experimentación modernas utilizan métodos bayesianos como opción predeterminada.
Errores comunes en el A/B testing bayesiano
Usar priors excesivamente informativos que sesgan los resultados hacia tus expectativas es un error frecuente. Los priors no informativos (como Beta(1,1)) son la opción más segura a menos que dispongas de datos previos sólidos. Otro error es confundir la probabilidad de ser el mejor con la magnitud de la mejora: una variante puede tener un 99% de probabilidad de ser mejor pero solo mejorar la conversión en un 0,01%. Revisa siempre la pérdida esperada y la amplitud del intervalo de credibilidad junto con la probabilidad.