Calculateur bayésien pour tests A/B
Quelle est la probabilité que la variante B soit meilleure que A ?
Analysez les résultats de votre test A/B avec les statistiques bayésiennes. Obtenez la probabilité que chaque variante soit la meilleure, la perte attendue en choisissant la mauvaise variante et les intervalles de crédibilité.
Comment utiliser ce calculateur
Entrez le nombre de visiteurs et de conversions pour votre contrôle et votre variante. Le calculateur utilise un modèle Bêta-Binomial avec des a priori non informatifs (Beta(1,1)) et effectue 50 000 simulations Monte Carlo pour estimer la probabilité que chaque variante soit supérieure. Les résultats se mettent à jour instantanément lorsque vous modifiez les paramètres.
Approche bayésienne vs. fréquentiste en test A/B
Contrairement aux méthodes fréquentistes qui produisent des valeurs p, l'analyse bayésienne vous donne une probabilité directe qu'une variante soit meilleure. La distribution a posteriori du taux de conversion de chaque variante est modélisée par une loi Bêta. La probabilité d'être le meilleur, la perte attendue et les intervalles de crédibilité sont calculés à partir d'échantillons Monte Carlo tirés de ces distributions a posteriori. Cette approche est plus intuitive pour les décisions business, car vous obtenez des énoncés du type "il y a 95 % de probabilité que la Variante B soit meilleure" au lieu de "le résultat est significatif au seuil de 5 %".
Quand utiliser l'analyse bayésienne
Le test A/B bayésien est particulièrement utile lorsque vous avez besoin d'énoncés de probabilité intuitifs pour vos parties prenantes, lorsque vous souhaitez prendre des décisions basées sur la perte attendue plutôt que sur la significativité statistique, ou lorsque vos tailles d'échantillon sont petites. Il permet également d'intégrer des connaissances préalables sur les taux de conversion si vous en disposez. De nombreuses plateformes d'expérimentation modernes utilisent les méthodes bayésiennes par défaut.
Erreurs courantes en test A/B bayésien
Utiliser des a priori trop informatifs qui biaisent les résultats vers vos attentes est une erreur courante. Les a priori non informatifs (comme Beta(1,1)) sont les plus sûrs, sauf si vous disposez de données antérieures solides. Une autre erreur est de confondre la probabilité d'être le meilleur avec l'ampleur de l'amélioration : une variante peut avoir 99 % de probabilité d'être meilleure mais n'améliorer le taux de conversion que de 0,01 %. Vérifiez toujours la perte attendue et la largeur de l'intervalle de crédibilité en complément de la probabilité.