What is statistical power in A/B testing?

Statistical power is the probability that your test will detect a real effect if one exists.

What power level should I aim for?

80% is the widely accepted minimum. Use 90% or higher for high-stakes tests.

Should I do power analysis before or after my test?

Before. Post-hoc power analysis using the observed effect size is statistically invalid.

Calculateur de puissance statistique pour tests A/B

Question: Does my test have enough statistical power to detect the expected effect?

Determinez la puissance statistique de votre test A/B. Decouvrez quelles tailles d'effet vous pouvez detecter de maniere fiable avec votre taille d'echantillon et votre trafic actuels.

Comment utiliser ce calculateur

Entrez votre taille d'échantillon par variante, le taux de conversion de base et l'effet minimum detectable que vous souhaitez evaluer. Le calculateur affiche la puissance statistique, c'est-a-dire la probabilite que votre test detecte correctement un effet reel de cette taille. Ajustez le MDE pour visualiser la courbe de puissance, qui montre comment la puissance evolue en fonction des differentes tailles d'effet.

Comprendre la puissance statistique

La puissance statistique est la probabilite qu'un test rejette correctement l'hypothese nulle lorsqu'un effet reel existe. Elle se calcule comme 1 moins le taux d'erreur de type II (beta). La puissance depend de quatre facteurs : la taille d'echantillon, la taille de l'effet, le seuil de significativite (alpha) et le taux de conversion de base. Une puissance plus elevee signifie moins de faux negatifs : vous avez moins de risques de manquer une amelioration reelle. Le minimum standard est de 80 %, ce qui signifie que vous avez 80 % de chances de detecter un effet reel.

Quand utiliser ce calculateur

Utilisez l'analyse de puissance avant de lancer un test pour verifier que votre taille d'echantillon est adequate, ou apres un test non significatif pour comprendre si vous aviez suffisamment de puissance pour detecter l'effet recherche. Un resultat non significatif issu d'un test sous-puissant ne signifie pas qu'il n'y a pas d'effet : cela signifie que votre test n'etait pas en mesure de le detecter. Cette distinction est essentielle pour une interpretation correcte.

Erreurs courantes en analyse de puissance

L'erreur la plus courante est de realiser des tests sous-puissants (en dessous de 80 % de puissance) puis de conclure qu'il n'y a pas d'effet lorsque le resultat n'est pas significatif. Une autre erreur est de calculer la puissance apres le test en utilisant la taille d'effet observee, ce qui constitue un raisonnement circulaire (analyse de puissance post-hoc). La puissance doit etre calculee avant le test en utilisant la taille d'effet minimale qui vous importe, et non l'effet reellement observe.