What is a ratio metric in A/B testing?

A ratio metric is computed as sum(X)/sum(Y) — like AOV (revenue/orders), ARPU (revenue/users), or CTR (clicks/impressions).

Why not just use a t-test on ratio metrics?

Simple averaging of per-user ratios is biased when users contribute different amounts. The delta method provides unbiased variance estimation.

What is the delta method?

The delta method approximates the variance of a ratio using Taylor expansion, accounting for the covariance between numerator and denominator.

Calculadora A/B de métricas de razão

Question: Is the difference in my ratio metric (like AOV or revenue per click) statistically significant?

Analise resultados de testes A/B para métricas de razão calculadas como sum(X)/sum(Y) — como valor médio do pedido, receita por usuário, taxa de cliques e mais. Usa o método delta para estimativa precisa e não enviesada da variância de métricas de razão.

When to use: For metrics computed as sum(X)/sum(Y) where the denominator varies per user — e.g., AOV (revenue/orders), Revenue per Click, or Time per Session. Users contribute different numbers of events, making simple averaging biased. If your metric is one value per user (like total revenue), use the Continuous Metrics calculator instead.

Como usar esta calculadora

Insira o tamanho da amostra, a média e o desvio padrão para cada grupo. Para dados de receita, a media e o valor medio do pedido ou receita por visitante, e o desvio padrao mede o quanto os valores individuais variam. A maioria das plataformas de analytics reporta esses valores. A calculadora utiliza o método delta para estimar corretamente a variância de métricas de razão, levando em conta a correlação entre numerador e denominador.

Método delta para métricas de razão

Métricas de razão como AOV (receita total / pedidos totais) e ARPU (receita total / usuários totais) não podem ser analisadas com um simples t-test sobre médias por usuário porque a variância de uma razão não é a mesma que a variância das observações individuais. O método delta fornece uma estimativa não enviesada da variância de uma razão usando uma expansão de Taylor, levando em conta as variâncias do numerador e do denominador e sua covariância. Isso produz intervalos de confiança e valores p corretos para métricas definidas como sum(X)/sum(Y).

Quando usar esta calculadora

Use esta calculadora quando sua métrica de interesse for uma razão de duas somas — por exemplo, receita total dividida por usuários totais (ARPU), receita total dividida por pedidos totais (AOV), cliques totais divididos por impressões totais (CTR), ou qualquer métrica definida como sum(X)/sum(Y). Esta é a abordagem correta para qualquer métrica onde cada usuário contribui um valor numérico em vez de apenas um resultado sim/não.

Erros comuns com testes de métricas de razão

O erro mais comum é tratar métricas de razão como simples médias por usuário e aplicar um t-test padrão, o que pode produzir estimativas enviesadas de variância e valores p incorretos. Outros erros incluem ignorar o impacto de outliers em dados de receita fortemente assimétricos, não considerar a alta variância inerente a métricas de razão, e comparar totais agregados em vez de métricas de razão corretamente definidas.