What is the multiple comparisons problem?

Testing many variants increases false positive risk. With 5 comparisons at 95% confidence, chance of at least one false positive is ~23%.

What is the difference between Bonferroni and Holm corrections?

Bonferroni divides significance level by the number of comparisons. Holm is strictly more powerful while still controlling error rate.

How many variants should I test at once?

Testing 3-5 variants is common. More variants means more traffic needed and longer test duration.

Calculateur de test A/B/n multi-variantes

Laquelle de mes multiples variantes est la plus performante en contrôlant les comparaisons multiples ?

Comparez trois variantes ou plus simultanément avec une correction appropriée pour les comparaisons multiples. Ajoutez jusqu'à 5 variantes et obtenez des tests de significativité par paires.

Comment utiliser ce calculateur

Entrez les visiteurs et les conversions pour le contrôle et chaque variante. Cliquez sur Ajouter une variante pour ajouter jusqu'à 5 variantes. Sélectionnez une méthode de correction : Bonferroni (plus conservatrice, contrôle le taux d'erreur par famille) ou Holm (moins conservatrice mais tout aussi valide). Le calculateur effectue toutes les comparaisons par paires et indique quelles différences sont significatives après correction.

Pourquoi les corrections pour comparaisons multiples sont essentielles

Lorsque vous testez plusieurs variantes contre un contrôle, chaque comparaison a une chance de produire un faux positif. Avec 5 comparaisons par paires à 95 % de confiance, la probabilité d'au moins un faux positif monte à environ 23 %. Les corrections pour comparaisons multiples ajustent le seuil de significativité pour maintenir le taux global de faux positifs à 5 %. Bonferroni divise alpha par le nombre de comparaisons (simple mais conservateur). La méthode par étapes de Holm est moins conservatrice tout en contrôlant le taux d'erreur par famille.

Quand utiliser le test multi-variantes

Utilisez le test A/B/n lorsque vous avez plusieurs idées à tester simultanément et que vous souhaitez trouver la meilleure variante efficacement. C'est courant dans les expériences de design (tester 3-4 mises en page), les tests de titres ou les expériences de tarification. Cependant, sachez que l'ajout de variantes augmente la taille d'échantillon requise. Si vous n'avez suffisamment de trafic que pour deux variantes, lancez plutôt un test A/B classique.

Erreurs courantes en test multi-variantes

La plus grande erreur est d'effectuer des comparaisons multiples sans aucune correction, ce qui gonfle considérablement les faux positifs. Une autre erreur est d'ajouter trop de variantes et de répartir le trafic trop finement, ce qui conduit à des comparaisons sous-puissantes. Évitez également de modifier les variantes en cours de test ou de retirer les variantes sous-performantes prématurément : cela invalide l'analyse statistique. Planifiez vos variantes et votre taille d'échantillon avant de commencer.