What is the difference between Bayesian and frequentist A/B testing?

Frequentist tests produce p-values. Bayesian tests give direct probability that one variant is better.

What is expected loss in Bayesian A/B testing?

Expected loss is the average conversion rate you would lose by choosing the wrong variant.

What are credible intervals?

A 95% credible interval means there is a 95% probability the true value falls within that range.

Calculateur bayésien pour tests A/B

Question: What is the probability that variant B is better than A?

Analysez les resultats de votre test A/B avec les statistiques bayesiennes. Obtenez la probabilite que chaque variante soit la meilleure, la perte attendue en choisissant la mauvaise variante et les intervalles de credibilite.

Comment utiliser ce calculateur

Entrez le nombre de visiteurs et de conversions pour votre contrôle et votre variante. Le calculateur utilise un modele Beta-Binomial avec des a priori non informatifs (Beta(1,1)) et effectue 50 000 simulations Monte Carlo pour estimer la probabilite que chaque variante soit superieure. Les resultats se mettent a jour instantanement lorsque vous modifiez les parametres.

Approche bayésienne vs. fréquentiste en test A/B

Contrairement aux methodes frequentistes qui produisent des valeurs p, l'analyse bayesienne vous donne une probabilite directe qu'une variante soit meilleure. La distribution a posteriori du taux de conversion de chaque variante est modelisee par une loi Beta. La probabilite d'etre le meilleur, la perte attendue et les intervalles de credibilite sont calcules a partir d'echantillons Monte Carlo tires de ces distributions a posteriori. Cette approche est plus intuitive pour les decisions business, car vous obtenez des enonces du type "il y a 95 % de probabilite que la Variante B soit meilleure" au lieu de "le resultat est significatif au seuil de 5 %".

Quand utiliser l'analyse bayésienne

Le test A/B bayesien est particulierement utile lorsque vous avez besoin d'enonces de probabilite intuitifs pour vos parties prenantes, lorsque vous souhaitez prendre des decisions basees sur la perte attendue plutot que sur la significativite statistique, ou lorsque vos tailles d'echantillon sont petites. Il permet egalement d'integrer des connaissances prealables sur les taux de conversion si vous en disposez. De nombreuses plateformes d'experimentation modernes utilisent les methodes bayesiennes par defaut.

Erreurs courantes en test A/B bayésien

Utiliser des a priori trop informatifs qui biaisent les resultats vers vos attentes est une erreur courante. Les a priori non informatifs (comme Beta(1,1)) sont les plus surs, sauf si vous disposez de donnees anterieures solides. Une autre erreur est de confondre la probabilite d'etre le meilleur avec l'ampleur de l'amelioration : une variante peut avoir 99 % de probabilite d'etre meilleure mais n'ameliorer le taux de conversion que de 0,01 %. Verifiez toujours la perte attendue et la largeur de l'intervalle de credibilite en complement de la probabilite.