When should I use Welch's t-test vs Mann-Whitney?

Use Welch's t-test for normally distributed data or large samples. Use Mann-Whitney for skewed data with outliers.

Why Welch's t-test instead of Student's?

Welch's doesn't assume equal variances between groups, making it more robust for A/B testing.

How do I prepare continuous metric data?

Compute one value per user (e.g., revenue per visitor, session duration). For t-test, you need mean, standard deviation, and sample size per group.

Calculateur A/B de métriques continues

Question: Is there a significant difference in my per-user continuous metrics?

Analysez les résultats de tests A/B pour les métriques continues par utilisateur comme le revenu par visiteur, la durée de session, les pages par session et plus. Choisissez entre le test t de Welch (entrez taille d'échantillon, moyenne et écart-type) ou le test de Mann-Whitney U (collez les données brutes) selon vos données et hypothèses de distribution.

When to use: For metrics where each user provides exactly one value — e.g., total revenue per user, session duration, pages viewed. If your metric is a ratio like Revenue/Orders where the denominator varies per user, use the Ratio Metrics calculator instead.

Comment utiliser ce calculateur

Pour la méthode du t-test, entrez la taille de l'échantillon, la moyenne et l'écart-type pour chaque groupe. Pour Mann-Whitney U, collez vos valeurs de données brutes. Pour les données de revenus, la moyenne correspond à votre panier moyen ou revenu par visiteur, et l'écart-type mesure à quel point les valeurs individuelles varient. La plupart des plateformes d'analytics fournissent ces valeurs. Le test t de Welch ne suppose pas l'égalité des variances entre les groupes, ce qui le rend robuste pour les données réelles.

Test t de Welch et Mann-Whitney U

Contrairement aux tests de taux de conversion (qui utilisent le test z pour les proportions), les métriques continues comme le revenu par visiteur, l'AOV et la durée de session nécessitent une comparaison de moyennes. Le test t de Welch calcule la statistique t comme la différence des moyennes divisée par l'erreur standard de la différence, en utilisant l'équation de Welch-Satterthwaite pour les degrés de liberté. Le test de Mann-Whitney U est une alternative non paramétrique qui ne suppose pas la normalité et travaille sur des données ordonnées, le rendant plus robuste pour les distributions fortement asymétriques.

Quand utiliser ce calculateur

Utilisez ce calculateur lorsque votre métrique d'intérêt est une valeur continue plutot qu'une conversion binaire. Les exemples courants incluent le revenu par visiteur, le panier moyen, la duree de session, le nombre de pages par session, le temps passe sur une page et les scores de satisfaction client. C'est le test adapte pour toute metrique ou chaque utilisateur contribue une valeur numerique plutot qu'un simple resultat oui/non.

Erreurs courantes avec les tests de métriques continues

Les données de revenus et autres données continues sont généralement asymétriques à droite avec quelques observations de très forte valeur. Cela rend l'écart-type critique : un écart-type élevé nécessite des échantillons beaucoup plus grands pour atteindre la significativité. Les erreurs courantes incluent l'utilisation d'un test z pour les proportions sur des données continues (mauvais test), l'ignorance de l'impact des valeurs aberrantes, la non-prise en compte de la forte variance inhérente aux métriques de revenus, et la comparaison des totaux au lieu des métriques par visiteur.