What is the peeking problem in A/B testing?

Peeking means checking results repeatedly, inflating the false positive rate from 5% to as high as 14% with 5 checks.

What is the difference between O'Brien-Fleming and Pocock?

O'Brien-Fleming uses strict boundaries early and relaxed ones late. Pocock uses equal boundaries at each look.

What happens if you stop an A/B test too early?

Without sequential testing, early stopping inflates false positives and overestimates effect sizes.

Calculateur de test séquentiel

Question: Can I stop my A/B test early while controlling false positives?

Verifiez si votre test A/B a atteint la significativite en utilisant les limites de test sequentiel. Cette methode vous permet de consulter les resultats a plusieurs points sans gonfler le taux de faux positifs.

Comment utiliser ce calculateur

Entrez le nombre d'analyses intermédiaires prévues et a quelle analyse vous en etes actuellement. Entrez les visiteurs et les conversions pour chaque variante. Selectionnez une fonction de depense : O'Brien-Fleming (conservatrice au debut, liberale a la fin) ou Pocock (limites egales a chaque analyse). Le calculateur indique si votre z-score actuel franchit la limite d'efficacite ou de futilite a cette analyse intermediaire.

Comment fonctionne le test séquentiel

Le test A/B traditionnel exige d'attendre qu'une taille d'echantillon fixe soit atteinte. Le test sequentiel permet de consulter les resultats a des intervalles pre-planifies (analyses) tout en controlant le taux global de faux positifs. Il utilise des fonctions de depense alpha qui repartissent le seuil de significativite total entre les analyses. O'Brien-Fleming depense tres peu d'alpha au debut (difficile d'arreter tot) mais presque tout a l'analyse finale. Pocock depense l'alpha de maniere egale entre les analyses (plus facile d'arreter tot mais plus difficile a l'analyse finale). Les deux methodes maintiennent le taux global d'erreur de type I au niveau souhaite.

Quand utiliser le test séquentiel

Utilisez le test sequentiel lorsque vous devez surveiller une experience dans le temps et souhaitez avoir la possibilite d'arreter plus tot en cas de gagnant ou de perdant clair. C'est particulierement precieux pour les tests avec une urgence business (lancements de produits, campagnes saisonnieres) ou lorsque le cout de maintenir une variante perdante est eleve (impact negatif sur le revenu). Le test sequentiel est la solution appropriee au probleme du peeking, c'est-a-dire la tentation de consulter les resultats avant la taille d'echantillon prevue.

Erreurs courantes en test séquentiel

L'erreur la plus courante est d'utiliser des limites sequentielles sans les avoir planifiees a l'avance. Vous devez decider du nombre d'analyses et de la fonction de depense avant le debut du test. Une autre erreur est de consulter les resultats plus souvent que prevu : meme avec le test sequentiel, vous ne pouvez verifier qu'aux intervalles pre-specifies. Utiliser les limites de Pocock avec de nombreuses analyses rend l'analyse finale tres conservatrice, c'est pourquoi O'Brien-Fleming est souvent preferee pour les tests avec beaucoup d'analyses prevues.