When should I use Z-test vs Chi-Square for A/B testing?

For 2 groups with binary outcomes, both give identical results (chi-square = z-squared). Z-test also provides confidence intervals. Chi-Square supports 3+ groups.

When should I use Fisher's exact test?

Use Fisher's exact test when sample sizes are small and expected cell counts are below 5, where chi-square approximation is unreliable.

What confidence level should I use for my A/B test?

95% is the industry standard. Use 90% for exploratory tests, 99% for high-stakes decisions.

Calculateur de test A/B de conversions

Existe-t-il une différence statistiquement significative entre les taux de conversion de mon test A/B ?

Analysez les résultats de conversion de votre test A/B avec trois méthodes statistiques interchangeables : Z-test pour les proportions, test du Chi-Carré et test exact de Fisher. Entrez les visiteurs et conversions de chaque variante pour obtenir des résultats instantanés avec valeurs p, intervalles de confiance et visualisations de distribution.

Comment utiliser ce calculateur

Entrez le nombre de visiteurs et de conversions pour votre groupe de contrôle (A) et votre groupe variante (B). Sélectionnez le niveau de confiance souhaité (95 % est le standard de l'industrie) et indiquez si vous souhaitez un test unilatéral ou bilatéral. Les résultats se mettent à jour en temps réel au fur et à mesure que vous tapez — aucun clic sur un bouton n'est nécessaire.

Comment fonctionnent les calculs

Ce calculateur propose trois méthodes pour comparer les taux de conversion. Le Z-test utilise le test z pour deux proportions, calculant la différence des proportions divisée par l'erreur standard combinée. Le test du Chi-Carré compare les fréquences observées et attendues dans un tableau de contingence. Le test exact de Fisher calcule la probabilité exacte pour les petits échantillons où les approximations peuvent être peu fiables. Les trois méthodes testent si la différence des taux de conversion est statistiquement significative.

Quand utiliser ce calculateur

Utilisez ce calculateur après avoir réalisé un test A/B pour déterminer si la différence observée dans les taux de conversion est statistiquement significative ou si elle pourrait être due au hasard. C'est l'analyse la plus courante pour les expériences marketing, les tests de fonctionnalités produit et l'optimisation de l'expérience utilisateur.

Erreurs courantes en tests A/B

Les erreurs les plus courantes incluent la consultation des résultats avant d'atteindre la taille d'échantillon requise (ce qui gonfle le taux de faux positifs), la réalisation de tests sous-puissants incapables de détecter des différences significatives, l'absence de correction pour les comparaisons multiples lors du test de plus de deux variantes, et l'arrêt prématuré des tests basé sur des tendances initiales.