When should I use Welch's t-test vs Mann-Whitney?

Use Welch's t-test for normally distributed data or large samples. Use Mann-Whitney for skewed data with outliers.

Why Welch's t-test instead of Student's?

Welch's doesn't assume equal variances between groups, making it more robust for A/B testing.

How do I prepare continuous metric data?

Compute one value per user (e.g., revenue per visitor, session duration). For t-test, you need mean, standard deviation, and sample size per group.

Calculadora A/B de métricas continuas

Question: Is there a significant difference in my per-user continuous metrics?

Analiza resultados de test A/B para métricas continuas por usuario como ingresos por visitante, duración de sesión, páginas por sesión y más. Elige entre el t-test de Welch (introduce tamaño de muestra, media y desviación estándar) o el test de Mann-Whitney U (pega los datos en bruto) según tus datos y supuestos de distribución.

When to use: For metrics where each user provides exactly one value — e.g., total revenue per user, session duration, pages viewed. If your metric is a ratio like Revenue/Orders where the denominator varies per user, use the Ratio Metrics calculator instead.

Cómo usar esta calculadora

Para el método del t-test, introduce el tamaño de muestra, la media y la desviación estándar de cada grupo. Para Mann-Whitney U, pega tus valores de datos en bruto. Para datos de ingresos, la media es tu valor medio de pedido o ingresos por visitante, y la desviación estándar mide cuánto varían los valores individuales. La mayoría de las plataformas de analítica reportan estos valores. El test t de Welch no asume varianzas iguales entre grupos, lo que lo hace robusto para datos del mundo real.

T-Test de Welch y Mann-Whitney U

A diferencia de los tests de tasa de conversión (que usan el test z de proporciones), las métricas continuas como ingresos por visitante, AOV y duración de sesión requieren comparar medias. El test t de Welch calcula el estadístico t como la diferencia de medias dividida por el error estándar de la diferencia, usando la ecuación de Welch-Satterthwaite para los grados de libertad. El test de Mann-Whitney U es una alternativa no paramétrica que no asume normalidad y trabaja con datos ordenados, siendo más robusto para distribuciones muy asimétricas.

Cuándo usar esta calculadora

Utiliza esta calculadora cuando tu métrica de interés sea un valor continuo en lugar de una conversión binaria. Los ejemplos más comunes incluyen ingresos por visitante, valor medio de pedido, duración de sesión, páginas por sesión, tiempo en la página y puntuaciones de satisfacción del cliente. Este es el test correcto para cualquier métrica donde cada usuario aporta un valor numérico en lugar de solo un resultado sí/no.

Errores comunes en tests de métricas continuas

Los datos de ingresos y otras métricas continuas suelen tener una distribución asimétrica a la derecha con unas pocas observaciones de alto valor. Esto hace que la desviación estándar sea crítica: una desviación estándar alta requiere muestras mucho mayores para alcanzar significancia. Los errores comunes incluyen usar un test z de proporciones para datos continuos (test incorrecto), ignorar el impacto de los valores atípicos, no considerar la alta varianza inherente a las métricas de ingresos, y comparar totales en lugar de métricas por visitante.