A/B testing bayesiano vs frecuentista
Estos dos marcos estadísticos responden preguntas diferentes sobre tu test A/B. Ninguno es universalmente mejor — la elección correcta depende de tus objetivos y limitaciones.
El enfoque frecuentista
El testing frecuentista es el enfoque tradicional. Planteas una hipótesis nula ("no hay diferencia"), recopilas datos y calculas un p-value.
Pregunta:
"Si no hubiera diferencia real, ¿qué tan probable sería observar datos tan extremos?"
Fortalezas
- Teoría bien establecida con décadas de investigación
- La tasa de falsos positivos (α) está garantizada si sigues el protocolo
- Fácil de prerregistrar: compromete un tamaño de muestra, ejecuta el test, analiza una vez
Limitaciones
- No puede decir "hay un X% de probabilidad de que B sea mejor" — solo "rechazamos / no rechazamos la hipótesis nula"
- Revisar los resultados antes de tiempo invalida las garantías sin corrección
- Requiere un tamaño de muestra fijo decidido de antemano
El enfoque bayesiano
El testing bayesiano parte de una creencia previa y la actualiza con los datos observados para producir una distribución posterior.
Pregunta:
"Dados los datos que he observado, ¿cuál es la probabilidad de que B sea mejor que A?"
Fortalezas
- Ofrece declaraciones directas de probabilidad ("92% de probabilidad de que B sea mejor")
- Maneja el peeking de forma natural — puedes revisar resultados en cualquier momento
- Interpretación intuitiva que coincide con cómo piensa la gente
- Puede incorporar conocimiento previo de experimentos anteriores
Limitaciones
- Los resultados dependen del prior — diferentes priors dan diferentes respuestas
- No garantiza una tasa fija de falsos positivos
- Puede ser excesivamente confiado con muestras pequeñas si el prior es demasiado fuerte
Comparación lado a lado
| Aspecto | Frecuentista | Bayesiano |
|---|---|---|
| Pregunta central | ¿Es la diferencia real o ruido aleatorio? | ¿Cuál es la probabilidad de que B supere a A? |
| Resultado principal | P-value e intervalo de confianza | Probabilidad posterior e intervalo de credibilidad |
| Revisión de resultados | Infla las tasas de error sin corrección | Seguro — la probabilidad se actualiza continuamente |
| Tamaño de muestra | Debe fijarse antes del test | Flexible — se puede detener cuando la probabilidad es suficientemente alta |
| Interpretación | "Rechazamos la hipótesis nula con α = 0,05" | "Hay un 96% de probabilidad de que B sea mejor que A" |
Cuándo usar cada uno
Usa frecuentista cuando:
- Necesitas control garantizado de falsos positivos (por ejemplo, contextos regulatorios)
- Puedes comprometerte con un tamaño de muestra fijo y ejecutar el test completo
- Quieres un marco de decisión simple de sí/no
Usa bayesiano cuando:
- Quieres saber la probabilidad de que una variante gane
- Necesitas monitorear resultados continuamente y detener antes de tiempo
- Ejecutas muchos tests y quieres reportes intuitivos para los stakeholders
Usa test secuencial cuando:
- Quieres garantías frecuentistas pero necesitas revisar resultados
- Quieres parada anticipada con tasas de error controladas
Prueba ambos enfoques
Pasa tus datos por la calculadora de conversiones para un resultado frecuentista y la calculadora bayesiana para un resultado bayesiano. Comparar ambos puede darte una visión más completa de lo que dicen tus datos.