What is the difference between Bayesian and frequentist A/B testing?

Frequentist tests produce p-values. Bayesian tests give direct probability that one variant is better.

What is expected loss in Bayesian A/B testing?

Expected loss is the average conversion rate you would lose by choosing the wrong variant.

What are credible intervals?

A 95% credible interval means there is a 95% probability the true value falls within that range.

Bayesianischer A/B-Test-Rechner

Question: What is the probability that variant B is better than A?

Analysieren Sie Ihre A/B-Testergebnisse mit bayesianischer Statistik. Erhalten Sie die Wahrscheinlichkeit, dass jede Variante die beste ist, den erwarteten Verlust bei Wahl der falschen Variante und Kredibilitätsintervalle.

So verwenden Sie diesen Rechner

Geben Sie die Anzahl der Besucher und Conversions für Kontrolle und Variante ein. Der Rechner verwendet ein Beta-Binomial-Modell mit nicht-informativen Priors (Beta(1,1)) und führt 50.000 Monte-Carlo-Simulationen durch, um die Wahrscheinlichkeit zu schätzen, dass jede Variante überlegen ist. Die Ergebnisse werden sofort aktualisiert, wenn Sie die Eingaben ändern.

Bayesianisches vs. frequentistisches A/B-Testing

Anders als frequentistische Methoden, die p-Werte liefern, gibt Ihnen die bayesianische Analyse eine direkte Wahrscheinlichkeit, dass eine Variante besser ist. Die Posteriori-Verteilung der Conversion-Rate jeder Variante wird als Beta-Verteilung modelliert. Die Gewinnwahrscheinlichkeit, der erwartete Verlust und die Kredibilitätsintervalle werden aus Monte-Carlo-Stichproben dieser Posteriori-Verteilungen berechnet. Dieser Ansatz ist für Geschäftsentscheidungen intuitiver, weil Sie Aussagen wie „es gibt eine 95-prozentige Wahrscheinlichkeit, dass Variante B besser ist" erhalten, anstatt „das Ergebnis ist auf dem 5-%-Niveau signifikant".

Wann Sie die bayesianische Analyse verwenden sollten

Bayesianisches A/B-Testing ist besonders nützlich, wenn Sie intuitive Wahrscheinlichkeitsaussagen für Stakeholder benötigen, wenn Sie Entscheidungen auf Basis des erwarteten Verlusts statt statistischer Signifikanz treffen möchten oder wenn Ihre Stichproben klein sind. Es ermöglicht Ihnen auch, Vorwissen über Conversion-Raten einzubeziehen, falls vorhanden. Viele moderne Experimentation-Plattformen verwenden bayesianische Methoden als Standard.

Häufige Fehler beim bayesianischen A/B-Testing

Die Verwendung zu informativer Priors, die Ergebnisse in Richtung Ihrer Erwartungen verzerren, ist ein häufiger Fehler. Nicht-informative Priors (wie Beta(1,1)) sind am sichersten, es sei denn, Sie haben belastbare Vorabdaten. Ein weiterer Fehler ist die Verwechslung der Gewinnwahrscheinlichkeit mit der Größe der Verbesserung — eine Variante kann mit 99 % Wahrscheinlichkeit besser sein, aber die Conversion nur um 0,01 % verbessern. Prüfen Sie immer den erwarteten Verlust und die Breite des Kredibilitätsintervalls neben der Wahrscheinlichkeit.