Combien de temps devriez-vous faire tourner votre test A/B ?

La durée dépend de la taille d'échantillon et du trafic

La durée du test est fondamentalement une fonction de deux choses : le nombre de visiteurs dont vous avez besoin (taille d'échantillon) et le nombre de visiteurs que vous recevez par jour. Le Calculateur de durée effectue ce calcul pour vous, mais comprendre les paramètres vous aide à mieux planifier.

La formule est simple : jours = taille d'échantillon requise ÷ visiteurs quotidiens par variante. Mais il y a des nuances importantes au-delà de cette simple division.

Faites toujours tourner le test par cycles hebdomadaires complets

Le comportement des utilisateurs varie considérablement au cours de la semaine. Les acheteurs du lundi se comportent différemment des visiteurs du samedi. Le trafic B2B chute le week-end. Les e-mails promotionnels génèrent des pics certains jours.

Si votre test dure 10 jours, il capture une semaine complète plus trois jours supplémentaires — ces trois jours sont surreprésentés dans vos données, ce qui biaise les résultats. La solution est simple : arrondissez toujours à des semaines complètes (7, 14, 21, 28 jours, etc.).

Cela garantit que chaque jour de la semaine est représenté de manière égale, éliminant les biais liés au jour de la semaine dans vos résultats.

Qu'est-ce qui influence la durée du test ?

• Volume de trafic quotidien — plus de visiteurs signifie une collecte de données plus rapide. Si vous n'avez que 100 visiteurs par jour, même un test simple peut prendre des semaines.
• Taux de conversion de base — des taux de base plus faibles nécessitent plus de données. Un test avec un taux de conversion de 0,5 % prend beaucoup plus de temps qu'un test avec un taux de 15 %.
• Effet minimum détectable — essayer de détecter des changements plus petits prend exponentiellement plus de temps. Un MDE relatif de 2 % nécessite environ 25 fois plus de données qu'un MDE de 10 %.
• Nombre de variantes — chaque variante supplémentaire nécessite sa propre part de trafic. Un test à 4 variantes prend environ 3 fois plus de temps qu'un test A/B.
• Allocation du trafic — si seulement 50 % des visiteurs entrent dans l'expérience, la durée double. Tenez compte de tout holdout ou filtre de ciblage.

Erreurs courantes sur la durée

• Arrêt à la significativité — vérifier quotidiennement et s'arrêter dès que p < 0,05 gonfle considérablement les faux positifs. Engagez-vous sur une durée fixe avant de commencer, ou utilisez le test séquentiel.
• Durée trop courte — un test de 3 jours ne capture qu'un demi-cycle hebdomadaire. Même s'il atteint la significativité statistique, les résultats peuvent ne pas être généralisables à une semaine complète de trafic.
• Durée trop longue — les tests qui durent des mois accumulent des facteurs de confusion externes : changements saisonniers, modifications du produit, campagnes marketing. Maintenez les tests en dessous de 4 à 6 semaines si possible.
• Ignorer les jours fériés et événements — le trafic du Black Friday n'est pas représentatif du comportement normal. Évitez de commencer ou terminer des tests autour d'événements majeurs, sauf si vous testez spécifiquement dans ce contexte.

Recommandations pratiques

• Durée minimale : 2 semaines complètes (14 jours) pour capturer deux cycles hebdomadaires complets.
• Maximum recommandé : 4 à 6 semaines pour éviter les facteurs de confusion externes.
• Si votre calculateur indique que le test nécessite plus de 6 semaines, envisagez d'augmenter le MDE ou de vous concentrer sur des pages à plus fort trafic.
• Pré-enregistrez toujours votre date de fin avant le lancement. Cela évite la tentation de consulter les données en avance.

Calculez la durée de votre test

Utilisez le Calculateur de durée pour obtenir une estimation précise basée sur votre trafic, taux de base et sensibilité souhaitée. Associez-le au Calculateur de taille d'échantillon pour comprendre la relation entre les deux.