Comprendre la taille d'échantillon des tests A/B

Faire tourner un test avec trop peu de visiteurs est une perte de temps et produit des résultats peu fiables. Trop de visiteurs, et vous retardez les décisions. Voici comment trouver le juste milieu.

Pourquoi la taille d'échantillon est importante

Un test avec une taille d'échantillon insuffisante est sous-puissant — il ne parviendra pas à détecter les effets réels la plupart du temps. Cela conduit à des résultats non concluants et à des créneaux d'expérimentation gaspillés. À l'inverse, des tests surdimensionnés retardent le déploiement des variantes gagnantes.

Les quatre paramètres qui déterminent la taille d'échantillon

Taux de base — votre taux de conversion ou valeur de métrique actuel. Des taux de base plus faibles nécessitent plus d'échantillons car il y a moins de signal dans les données.
Effet minimum détectable (MDE) — la plus petite amélioration qu'il vaut la peine de détecter. Des effets plus petits nécessitent des échantillons plus grands. Soyez réaliste : une hausse relative de 1 % sur un taux de base de 2 % est extrêmement difficile à détecter.
Seuil de significativité (α) — le taux de faux positifs, généralement 5 % (confiance à 95 %). Abaisser α à 1 % nécessite nettement plus de données.
Puissance statistique (1-β) — la probabilité de détecter un effet réel. 80 % est le minimum standard. Passer à 90 % ajoute environ 30 % d'échantillons supplémentaires requis.

Erreurs courantes

Arrêt prématuré — consulter les résultats et s'arrêter dès que p < 0,05 gonfle considérablement le taux de faux positifs. Utilisez le test séquentiel si vous devez consulter en avance.
Puissance post-hoc — calculer la puissance après le test ne fournit aucune information utile. Calculez toujours la taille d'échantillon avant le lancement.
Ignorer la répartition du trafic — si seulement 50 % du trafic entre dans le test, vous avez besoin de deux fois plus de visiteurs au total. Utilisez le Calculateur de durée pour en tenir compte.
MDE irréaliste — espérer détecter un changement relatif de 1 % sur un taux de base de 3 % nécessiterait des millions de visiteurs. Alignez le MDE avec votre seuil d'impact business.

Règles empiriques

Diviser par deux votre MDE quadruple approximativement la taille d'échantillon requise.
Des taux de base plus faibles nécessitent plus de visiteurs — un taux de base de 1 % nécessite environ 25 fois plus qu'un taux de base de 50 % pour le même MDE relatif.
Passer de 80 % à 90 % de puissance augmente l'échantillon d'environ 30 %.
Ajouter des variantes supplémentaires augmente linéairement le trafic total requis.

Calculez votre taille d'échantillon

Utilisez le Calculateur de taille d'échantillon pour obtenir un nombre exact adapté à votre taux de base, MDE et exigences de puissance.