Calculateur de test séquentiel
Puis-je arrêter mon test A/B plus tôt tout en contrôlant les faux positifs ?
Vérifiez si votre test A/B a atteint la significativité en utilisant les limites de test séquentiel. Cette méthode vous permet de consulter les résultats à plusieurs points sans gonfler le taux de faux positifs.
Comment utiliser ce calculateur
Entrez le nombre d'analyses intermédiaires prévues et à quelle analyse vous en êtes actuellement. Entrez les visiteurs et les conversions pour chaque variante. Sélectionnez une fonction de dépense : O'Brien-Fleming (conservatrice au début, libérale à la fin) ou Pocock (limites égales à chaque analyse). Le calculateur indique si votre z-score actuel franchit la limite d'efficacité ou de futilité à cette analyse intermédiaire.
Comment fonctionne le test séquentiel
Le test A/B traditionnel exige d'attendre qu'une taille d'échantillon fixe soit atteinte. Le test séquentiel permet de consulter les résultats à des intervalles pré-planifiés (analyses) tout en contrôlant le taux global de faux positifs. Il utilise des fonctions de dépense alpha qui répartissent le seuil de significativité total entre les analyses. O'Brien-Fleming dépense très peu d'alpha au début (difficile d'arrêter tôt) mais presque tout à l'analyse finale. Pocock dépense l'alpha de manière égale entre les analyses (plus facile d'arrêter tôt mais plus difficile à l'analyse finale). Les deux méthodes maintiennent le taux global d'erreur de type I au niveau souhaité.
Quand utiliser le test séquentiel
Utilisez le test séquentiel lorsque vous devez surveiller une expérience dans le temps et souhaitez avoir la possibilité d'arrêter plus tôt en cas de gagnant ou de perdant clair. C'est particulièrement précieux pour les tests avec une urgence business (lancements de produits, campagnes saisonnières) ou lorsque le coût de maintenir une variante perdante est élevé (impact négatif sur le revenu). Le test séquentiel est la solution appropriée au problème du peeking, c'est-à-dire la tentation de consulter les résultats avant la taille d'échantillon prévue.
Erreurs courantes en test séquentiel
L'erreur la plus courante est d'utiliser des limites séquentielles sans les avoir planifiées à l'avance. Vous devez décider du nombre d'analyses et de la fonction de dépense avant le début du test. Une autre erreur est de consulter les résultats plus souvent que prévu : même avec le test séquentiel, vous ne pouvez vérifier qu'aux intervalles pré-spécifiés. Utiliser les limites de Pocock avec de nombreuses analyses rend l'analyse finale très conservatrice, c'est pourquoi O'Brien-Fleming est souvent préférée pour les tests avec beaucoup d'analyses prévues.