What is a ratio metric in A/B testing?

A ratio metric is computed as sum(X)/sum(Y) — like AOV (revenue/orders), ARPU (revenue/users), or CTR (clicks/impressions).

Why not just use a t-test on ratio metrics?

Simple averaging of per-user ratios is biased when users contribute different amounts. The delta method provides unbiased variance estimation.

What is the delta method?

The delta method approximates the variance of a ratio using Taylor expansion, accounting for the covariance between numerator and denominator.

Calculateur A/B de métriques de ratio

Question: Is the difference in my ratio metric (like AOV or revenue per click) statistically significant?

Analysez les résultats de tests A/B pour les métriques de ratio calculées comme sum(X)/sum(Y) — telles que le panier moyen, le revenu par utilisateur, le taux de clics et plus. Utilise la méthode delta pour une estimation précise et non biaisée de la variance des métriques de ratio.

When to use: For metrics computed as sum(X)/sum(Y) where the denominator varies per user — e.g., AOV (revenue/orders), Revenue per Click, or Time per Session. Users contribute different numbers of events, making simple averaging biased. If your metric is one value per user (like total revenue), use the Continuous Metrics calculator instead.

Comment utiliser ce calculateur

Entrez la taille de l'échantillon, la moyenne et l'écart-type pour chaque groupe. Pour les donnees de revenus, la moyenne correspond a votre panier moyen ou revenu par visiteur, et l'ecart-type mesure a quel point les valeurs individuelles varient. La plupart des plateformes d'analytics fournissent ces valeurs. Le calculateur utilise la méthode delta pour estimer correctement la variance des métriques de ratio, en tenant compte de la corrélation entre numérateur et dénominateur.

Méthode delta pour les métriques de ratio

Les métriques de ratio comme l'AOV (revenu total / commandes totales) et l'ARPU (revenu total / utilisateurs totaux) ne peuvent pas être analysées avec un simple t-test sur les moyennes par utilisateur car la variance d'un ratio n'est pas la même que la variance des observations individuelles. La méthode delta fournit une estimation non biaisée de la variance d'un ratio en utilisant un développement de Taylor, tenant compte des variances du numérateur et du dénominateur et de leur covariance. Cela produit des intervalles de confiance et des valeurs p corrects pour les métriques définies comme sum(X)/sum(Y).

Quand utiliser ce calculateur

Utilisez ce calculateur lorsque votre métrique d'intérêt est un ratio de deux sommes — par exemple, le revenu total divisé par le nombre total d'utilisateurs (ARPU), le revenu total divisé par le nombre total de commandes (AOV), le total des clics divisé par le total des impressions (CTR), ou toute métrique définie comme sum(X)/sum(Y). C'est l'approche correcte pour toute métrique où chaque utilisateur contribue une valeur numérique plutôt qu'un simple résultat oui/non.

Erreurs courantes avec les tests de métriques de ratio

L'erreur la plus courante est de traiter les métriques de ratio comme de simples moyennes par utilisateur et d'appliquer un t-test standard, ce qui peut produire des estimations biaisées de la variance et des valeurs p incorrectes. D'autres erreurs incluent l'ignorance de l'impact des valeurs aberrantes sur les données de revenus fortement asymétriques, la non-prise en compte de la forte variance inhérente aux métriques de ratio, et la comparaison des totaux agrégés au lieu de métriques de ratio correctement définies.