Comment choisir le bon test statistique pour votre test A/B

Étape 1 : Quel type de métrique testez-vous ?

La toute première question à poser : quel type de données votre métrique produit-elle ?

• Binaire / Taux de conversion — chaque utilisateur convertit ou non (cliqué, acheté, inscrit). Utilisez le Calculateur de conversions.
• Métriques continues par utilisateur — chaque utilisateur a une valeur numérique (revenu par utilisateur, durée de session, pages consultées). Utilisez le Calculateur de métriques continues.
• Métriques de ratio — sum(X)/sum(Y) où le dénominateur varie par utilisateur (AOV = revenu/commandes, revenu par clic). Utilisez le Calculateur de métriques de ratio.

Étape 2 : Choisissez une méthode selon votre type de métrique

Pour les taux de conversion :

• Test Z (deux proportions) — le choix par défaut. Fonctionne bien lorsque les tailles d'échantillon sont modérées à grandes (n > 30 par groupe) et que les effectifs attendus sont ≥ 5.
• Test du Chi-carré — idéal pour comparer plus de 2 groupes simultanément ou analyser des tableaux de contingence à catégories multiples.
• Test exact de Fisher — à utiliser lorsque les tailles d'échantillon sont petites ou que les effectifs attendus sont inférieurs à 5. Exact plutôt qu'approximatif.

Pour les métriques continues :

• Test t de Welch — le choix de référence pour comparer les moyennes. Fonctionne pour les données normalement distribuées ou les grands échantillons (le CLT s'applique pour n > 30). Ne suppose pas l'égalité des variances.
• Test de Mann-Whitney U — à utiliser lorsque les données sont fortement asymétriques, contiennent des valeurs aberrantes ou violent les hypothèses de normalité. Compare les distributions entières plutôt que les seules moyennes.

Pour les métriques de ratio :

• T-test simple sur les ratios — rapide mais peut être biaisé lorsque les utilisateurs contribuent des nombres d'événements différents.
• Méthode delta — l'approche recommandée. Gère correctement la variance d'un ratio lorsque le dénominateur varie par utilisateur.
• Bootstrap — la plus flexible. Ne fait aucune hypothèse distributionnelle. Idéale pour les métriques complexes ou non standard.

Étape 3 : Considérez ces cas particuliers

• Vous souhaitez consulter les résultats en avance ? Utilisez le Test séquentiel avec des fonctions de dépense pour contrôler le taux de faux positifs tout en permettant un arrêt anticipé.
• Vous testez plus d'une variante ? Utilisez le Calculateur multi-variantes avec les corrections de Bonferroni ou Holm-Bonferroni.
• Vous préférez les probabilités aux valeurs p ? Utilisez le Calculateur bayésien pour obtenir la probabilité a posteriori qu'une variante batte l'autre.

Organigramme de décision rapide