Tests A/B pour les sites à faible trafic

Peut-on faire des tests A/B avec 500 visiteurs par jour ? Oui — mais il faut adapter votre approche. Les méthodes standard qui fonctionnent pour les sites à fort trafic vous feront perdre du temps sans modifications.

La réalité des tests à faible trafic

Les mathématiques sont impitoyables : détecter une hausse relative de 5 % sur un taux de conversion de 3 % nécessite environ 85 000 visiteurs par variante. À 250 visiteurs par jour par variante, cela représente 340 jours — près d'un an.

Cela ne signifie pas que les tests A/B sont impossibles avec un faible trafic. Cela signifie que vous devez être stratégique dans ce que vous testez et comment.

Stratégies qui fonctionnent

Testez des changements plus importants — Les ajustements subtils (couleur de bouton, modifications de texte) produisent des effets faibles qui nécessitent des échantillons massifs pour être détectés. Testez plutôt des approches fondamentalement différentes : mises en page entièrement nouvelles, propositions de valeur différentes, structures tarifaires différentes. Les effets plus importants nécessitent moins de visiteurs pour être détectés.
Concentrez-vous sur les pages à fort trafic — Concentrez les tests sur vos pages les plus visitées. Un test sur la page d'accueil avec 80 % du trafic se terminera bien plus vite qu'un test sur une page de paramètres avec 2 %.
Utilisez moins de variantes — Chaque variante divise votre trafic. Avec 500 visiteurs/jour, un test A/B (2 variantes) vous donne 250 par variante. Un test A/B/C/D ne vous donne que 125 par variante — rendant la détection encore plus difficile.
Acceptez un MDE plus grand — Au lieu d'essayer de détecter une hausse relative de 5 %, fixez votre MDE à 15–20 %. Vous manquerez les petites améliorations, mais vous attraperez les gains importants — qui comptent le plus de toute façon. Utilisez le Calculateur de taille d'échantillon pour voir l'impact sur le trafic requis.
Faites durer les tests plus longtemps — Avec 250 visiteurs quotidiens par variante, un test pour un MDE relatif de 20 % sur une base de 5 % nécessite environ 2 500 visiteurs — 10 jours. C'est tout à fait faisable. Prévoyez des tests de 2 à 4 semaines plutôt que des sprints de 3 jours.

Méthodes statistiques pour les petits échantillons

Analyse bayésienne — Le Calculateur bayésien fonctionne bien avec de petits échantillons car il vous donne une probabilité plutôt qu'une réponse binaire significatif/non significatif. « 72 % de chances que B soit meilleur » reste une information utile, même si un test fréquentiste dirait « non significatif ».
Test séquentiel — Le Calculateur séquentiel vous permet de surveiller les résultats en continu et d'arrêter plus tôt s'il y a un gagnant clair. Cela peut économiser des semaines de tests lorsque l'effet est important.
Test exact de Fisher — Pour les tests de taux de conversion avec de très petits échantillons (moins de 100 par groupe), le test exact de Fisher est plus fiable que le test z standard. Le Calculateur de conversions propose cette option.

Ce qu'il ne faut pas faire

N'abaissez pas votre seuil de significativité — Utiliser α = 0,20 au lieu de 0,05 pour obtenir plus de résultats significatifs signifie simplement que vous déploierez plus de faux positifs. Vous ferez des changements sans effet réel — ou qui aggraveront les choses.
N'ignorez pas les exigences de taille d'échantillon — Lancer un test de 3 jours avec 200 visiteurs et déclarer un gagnant est pire que de ne pas tester du tout — cela donne une fausse confiance dans un résultat aléatoire.
Ne combinez pas du trafic non comparable — Regrouper le trafic de pages très différentes ou de segments d'utilisateurs différents pour atteindre la taille d'échantillon plus vite introduit des facteurs de confusion qui invalident le test.

Un cadre pratique pour les petits sites

Choisissez votre page à plus fort trafic
Testez un changement significatif (pas un ajustement mineur)
Fixez le MDE à 15–20 % relatif
Utilisez le Calculateur de durée pour estimer la durée du test
Faites tourner le test pendant au moins 2 semaines complètes
Analysez avec le Calculateur bayésien pour l'interprétation la plus utile

Un faible trafic ne signifie pas que vous ne pouvez pas expérimenter. Cela signifie que chaque expérience doit compter — testez des idées audacieuses, acceptez des seuils de MDE plus grands et concentrez-vous sur l'apprentissage.