What is the multiple comparisons problem?

Testing many variants increases false positive risk. With 5 comparisons at 95% confidence, chance of at least one false positive is ~23%.

What is the difference between Bonferroni and Holm corrections?

Bonferroni divides significance level by the number of comparisons. Holm is strictly more powerful while still controlling error rate.

How many variants should I test at once?

Testing 3-5 variants is common. More variants means more traffic needed and longer test duration.

Calculateur de test A/B/n multi-variantes

Question: Which of my multiple variants performs best while controlling for multiple comparisons?

Comparez trois variantes ou plus simultanement avec une correction appropriee pour les comparaisons multiples. Ajoutez jusqu'a 5 variantes et obtenez des tests de significativite par paires.

Comment utiliser ce calculateur

Entrez les visiteurs et les conversions pour le contrôle et chaque variante. Cliquez sur Ajouter une variante pour ajouter jusqu'a 5 variantes. Selectionnez une methode de correction : Bonferroni (plus conservatrice, controle le taux d'erreur par famille) ou Holm (moins conservatrice mais tout aussi valide). Le calculateur effectue toutes les comparaisons par paires et indique quelles differences sont significatives apres correction.

Pourquoi les corrections pour comparaisons multiples sont essentielles

Lorsque vous testez plusieurs variantes contre un controle, chaque comparaison a une chance de produire un faux positif. Avec 5 comparaisons par paires a 95 % de confiance, la probabilite d'au moins un faux positif monte a environ 23 %. Les corrections pour comparaisons multiples ajustent le seuil de significativite pour maintenir le taux global de faux positifs a 5 %. Bonferroni divise alpha par le nombre de comparaisons (simple mais conservateur). La methode par etapes de Holm est moins conservatrice tout en controlant le taux d'erreur par famille.

Quand utiliser le test multi-variantes

Utilisez le test A/B/n lorsque vous avez plusieurs idees a tester simultanement et que vous souhaitez trouver la meilleure variante efficacement. C'est courant dans les experiences de design (tester 3-4 mises en page), les tests de titres ou les experiences de tarification. Cependant, sachez que l'ajout de variantes augmente la taille d'echantillon requise. Si vous n'avez suffisamment de trafic que pour deux variantes, lancez plutot un test A/B classique.

Erreurs courantes en test multi-variantes

La plus grande erreur est d'effectuer des comparaisons multiples sans aucune correction, ce qui gonfle considerablement les faux positifs. Une autre erreur est d'ajouter trop de variantes et de repartir le trafic trop finement, ce qui conduit a des comparaisons sous-puissantes. Evitez egalement de modifier les variantes en cours de test ou de retirer les variantes sous-performantes prematurement : cela invalide l'analyse statistique. Planifiez vos variantes et votre taille d'echantillon avant de commencer.