What is a ratio metric in A/B testing?

A ratio metric is computed as sum(X)/sum(Y) — like AOV (revenue/orders), ARPU (revenue/users), or CTR (clicks/impressions).

Why not just use a t-test on ratio metrics?

Simple averaging of per-user ratios is biased when users contribute different amounts. The delta method provides unbiased variance estimation.

What is the delta method?

The delta method approximates the variance of a ratio using Taylor expansion, accounting for the covariance between numerator and denominator.

Calculadora A/B de métricas de ratio

Question: Is the difference in my ratio metric (like AOV or revenue per click) statistically significant?

Analiza resultados de test A/B para métricas de ratio calculadas como sum(X)/sum(Y) — como valor medio de pedido, ingresos por usuario, tasa de clics y más. Usa el método delta para una estimación precisa e insesgada de la varianza de métricas de ratio.

When to use: For metrics computed as sum(X)/sum(Y) where the denominator varies per user — e.g., AOV (revenue/orders), Revenue per Click, or Time per Session. Users contribute different numbers of events, making simple averaging biased. If your metric is one value per user (like total revenue), use the Continuous Metrics calculator instead.

Cómo usar esta calculadora

Introduce el tamaño de muestra, la media y la desviación estándar de cada grupo. Para datos de ingresos, la media es tu valor medio de pedido o ingresos por visitante, y la desviación estándar mide cuánto varían los valores individuales. La mayoría de las plataformas de analítica reportan estos valores. La calculadora usa el método delta para estimar correctamente la varianza de métricas de ratio, teniendo en cuenta la correlación entre numerador y denominador.

Método delta para métricas de ratio

Las métricas de ratio como AOV (ingresos totales / pedidos totales) y ARPU (ingresos totales / usuarios totales) no pueden analizarse con un simple t-test sobre promedios por usuario porque la varianza de un ratio no es la misma que la varianza de las observaciones individuales. El método delta proporciona una estimación insesgada de la varianza de un ratio mediante una expansión de Taylor, teniendo en cuenta las varianzas del numerador y el denominador y su covarianza. Esto produce intervalos de confianza y valores p correctos para métricas definidas como sum(X)/sum(Y).

Cuándo usar esta calculadora

Utiliza esta calculadora cuando tu métrica de interés sea un ratio de dos sumas — por ejemplo, ingresos totales divididos por usuarios totales (ARPU), ingresos totales divididos por pedidos totales (AOV), clics totales divididos por impresiones totales (CTR), o cualquier métrica definida como sum(X)/sum(Y). Este es el enfoque correcto para cualquier métrica donde cada usuario aporta un valor numérico en lugar de solo un resultado sí/no.

Errores comunes en tests de métricas de ratio

El error más común es tratar las métricas de ratio como simples promedios por usuario y aplicar un t-test estándar, lo que puede producir estimaciones sesgadas de la varianza y valores p incorrectos. Otros errores incluyen ignorar el impacto de los valores atípicos en datos de ingresos muy asimétricos, no considerar la alta varianza inherente a las métricas de ratio, y comparar totales agregados en lugar de métricas de ratio correctamente definidas.