Entendiendo el tamaño de muestra en tests A/B

Ejecutar un test con muy pocos visitantes desperdicia tiempo y produce resultados poco fiables. Con demasiados, retrasas decisiones. Así es como encontrar el punto óptimo.

Por qué importa el tamaño de muestra

Un test con tamaño de muestra insuficiente tiene potencia insuficiente — no detectará efectos reales la mayor parte del tiempo. Esto genera resultados no concluyentes y desperdicia oportunidades de experimentación. Por otro lado, tests excesivamente grandes retrasan el lanzamiento de variantes ganadoras.

Los cuatro parámetros que determinan el tamaño de muestra

Tasa base — tu tasa de conversión o valor de métrica actual. Tasas base más bajas requieren más muestras porque hay menos señal en los datos.
Efecto Mínimo Detectable (MDE) — la mejora más pequeña que vale la pena detectar. Efectos más pequeños necesitan muestras más grandes. Sé realista: una mejora relativa del 1% sobre una tasa base del 2% es extremadamente difícil de detectar.
Nivel de significancia (α) — la tasa de falsos positivos, típicamente 5% (95% de confianza). Reducir α al 1% requiere sustancialmente más datos.
Potencia estadística (1-β) — la probabilidad de detectar un efecto real. 80% es el mínimo estándar. Aumentar al 90% añade aproximadamente un 30% más de muestras necesarias.

Errores comunes

Detener antes de tiempo — revisar los resultados y detener cuando p < 0,05 infla la tasa de falsos positivos drásticamente. Usa el test secuencial si necesitas revisar antes.
Usar potencia post-hoc — calcular la potencia después de que el test ha terminado no aporta información útil. Calcula siempre el tamaño de muestra antes de lanzar.
Ignorar la asignación de tráfico — si solo el 50% del tráfico entra en el test, necesitas el doble de visitantes totales. Usa la calculadora de duración para tener esto en cuenta.
MDE poco realista — esperar detectar un cambio relativo del 1% sobre una tasa base del 3% requeriría millones de visitantes. Alinea el MDE con tu umbral de impacto de negocio.

Reglas generales

Reducir el MDE a la mitad aproximadamente cuadruplica el tamaño de muestra necesario.
Tasas base más bajas necesitan más visitantes — una tasa base del 1% necesita ~25x más que una del 50% para el mismo MDE relativo.
Pasar del 80% al 90% de potencia aumenta la muestra aproximadamente un 30%.
Añadir más variantes aumenta linealmente el tráfico total necesario.

Calcula tu tamaño de muestra

Usa la calculadora de tamaño de muestra para obtener un número exacto según tu tasa base, MDE y requisitos de potencia específicos.