When should I use Z-test vs Chi-Square for A/B testing?

For 2 groups with binary outcomes, both give identical results (chi-square = z-squared). Z-test also provides confidence intervals. Chi-Square supports 3+ groups.

When should I use Fisher's exact test?

Use Fisher's exact test when sample sizes are small and expected cell counts are below 5, where chi-square approximation is unreliable.

What confidence level should I use for my A/B test?

95% is the industry standard. Use 90% for exploratory tests, 99% for high-stakes decisions.

Calculateur de test A/B de conversions

Question: Is there a statistically significant difference between my A/B test conversion rates?

Analysez les résultats de conversion de votre test A/B avec trois méthodes statistiques interchangeables : Z-test pour les proportions, test du Chi-Carré et test exact de Fisher. Entrez les visiteurs et conversions de chaque variante pour obtenir des résultats instantanés avec valeurs p, intervalles de confiance et visualisations de distribution.

Comment utiliser ce calculateur

Entrez le nombre de visiteurs et de conversions pour votre groupe de contrôle (A) et votre groupe variante (B). Sélectionnez le niveau de confiance souhaité (95 % est le standard de l'industrie) et indiquez si vous souhaitez un test unilateral ou bilateral. Les resultats se mettent a jour en temps reel au fur et a mesure que vous tapez — aucun clic sur un bouton n'est necessaire.

Comment fonctionnent les calculs

Ce calculateur propose trois méthodes pour comparer les taux de conversion. Le Z-test utilise le test z pour deux proportions, calculant la différence des proportions divisée par l'erreur standard combinée. Le test du Chi-Carré compare les fréquences observées et attendues dans un tableau de contingence. Le test exact de Fisher calcule la probabilité exacte pour les petits échantillons où les approximations peuvent être peu fiables. Les trois méthodes testent si la différence des taux de conversion est statistiquement significative.

Quand utiliser ce calculateur

Utilisez ce calculateur après avoir réalisé un test A/B pour determiner si la difference observee dans les taux de conversion est statistiquement significative ou si elle pourrait etre due au hasard. C'est l'analyse la plus courante pour les experiences marketing, les tests de fonctionnalites produit et l'optimisation de l'experience utilisateur.

Erreurs courantes en tests A/B

Les erreurs les plus courantes incluent la consultation des resultats avant d'atteindre la taille d'echantillon requise (ce qui gonfle le taux de faux positifs), la realisation de tests sous-puissants incapables de detecter des differences significatives, l'absence de correction pour les comparaisons multiples lors du test de plus de deux variantes, et l'arret premature des tests base sur des tendances initiales.