A/B testing para sitios con poco tráfico

La realidad de testear con poco tráfico

Las matemáticas son implacables: detectar una mejora relativa del 5% sobre una tasa de conversión del 3% requiere aproximadamente 85.000 visitantes por variante. Con 250 visitantes por día por variante, eso son 340 días — casi un año.

Esto no significa que el A/B testing sea imposible con poco tráfico. Significa que necesitas ser estratégico con lo que pruebas y cómo.

Estrategias que funcionan

• Prueba cambios más grandes — Los ajustes sutiles (color de botón, cambios de texto) producen efectos pequeños que necesitan muestras enormes para detectarse. En su lugar, prueba enfoques fundamentalmente diferentes: layouts completamente nuevos, propuestas de valor diferentes, estructuras de precios diferentes. Los efectos mayores necesitan menos visitantes para detectarse.
• Enfócate en las páginas con más tráfico — Concentra los tests en tus páginas con mayor tráfico. Un test en la página de inicio con el 80% del tráfico se completará mucho más rápido que uno en la página de configuración con el 2%.
• Usa menos variantes — Cada variante divide tu tráfico. Con 500 visitantes/día, un test A/B (2 variantes) te da 250 por variante. Un test A/B/C/D te da solo 125 por variante — haciendo la detección aún más difícil.
• Acepta un MDE mayor — En lugar de intentar detectar una mejora relativa del 5%, establece tu MDE en 15–20%. No detectarás mejoras pequeñas, pero captarás las grandes — que son las que más importan de todos modos. Usa la calculadora de tamaño de muestra para ver cómo esto afecta al tráfico necesario.
• Ejecuta tests más largos — Con 250 visitantes diarios por variante, un test para un MDE relativo del 20% sobre una tasa base del 5% necesita aproximadamente 2.500 visitantes — 10 días. Eso es perfectamente viable. Planifica tests de 2–4 semanas en lugar de sprints de 3 días.

Métodos estadísticos para muestras pequeñas

• Análisis bayesiano — La calculadora bayesiana funciona bien con muestras más pequeñas porque te da una probabilidad en lugar de una respuesta binaria de significativo/no significativo. "72% de probabilidad de que B sea mejor" sigue siendo información útil, incluso si un test frecuentista diría "no significativo."
• Test secuencial — La calculadora secuencial te permite monitorear resultados continuamente y detener antes de tiempo si hay un ganador claro. Esto puede ahorrar semanas de testing cuando el efecto es grande.
• Test exacto de Fisher — Para tests de tasa de conversión con muestras muy pequeñas (menos de 100 por grupo), el test exacto de Fisher es más fiable que el z-test estándar. La calculadora de conversiones ofrece esta opción.

Qué no hacer

• No reduzcas tu umbral de significancia — Usar α = 0,20 en lugar de 0,05 para obtener más resultados significativos solo significa que implementarás más falsos positivos. Harás cambios que no tienen efecto real — o que empeoran las cosas.
• No ignores los requisitos de tamaño de muestra — Ejecutar un test durante 3 días con 200 visitantes y declarar un ganador es peor que no testear — da falsa confianza en un resultado aleatorio.
• No combines tráfico no comparable — Agrupar tráfico de páginas muy diferentes o segmentos de usuarios para alcanzar el tamaño de muestra más rápido introduce factores de confusión que invalidan el test.

Un marco práctico para sitios pequeños

1. Elige tu página con más tráfico
2. Prueba un cambio significativo (no un ajuste menor)
3. Establece el MDE en 15–20% relativo
4. Usa la calculadora de duración para estimar la duración del test
5. Ejecuta durante al menos 2 semanas completas
6. Analiza con la calculadora bayesiana para la interpretación más útil

Poco tráfico no significa que no puedas experimentar. Significa que cada experimento debe contar — prueba ideas audaces, acepta umbrales de MDE mayores y concéntrate en aprender.