Bayesianisches vs. frequentistisches A/B-Testing
Diese beiden statistischen Frameworks beantworten unterschiedliche Fragen über Ihren A/B-Test. Keines ist universell besser — die richtige Wahl hängt von Ihren Zielen und Rahmenbedingungen ab.
Der frequentistische Ansatz
Frequentistisches Testen ist der traditionelle Ansatz. Sie stellen eine Nullhypothese auf („kein Unterschied"), sammeln Daten und berechnen einen p-Wert.
Die Frage lautet:
„Wenn es keinen echten Unterschied gäbe, wie wahrscheinlich wäre es, so extreme Daten zu beobachten?"
Stärken
- Fundierte Theorie mit jahrzehntelanger Forschung
- Feste Falsch-Positiv-Rate (α) ist garantiert, wenn Sie dem Protokoll folgen
- Einfach vorab zu registrieren: Stichprobengröße festlegen, Test durchführen, einmal analysieren
Einschränkungen
- Kann nicht sagen „es gibt eine X-prozentige Wahrscheinlichkeit, dass B besser ist" — nur „wir lehnen die Nullhypothese ab / können sie nicht ablehnen"
- Vorzeitiges Prüfen der Ergebnisse macht die Garantien ohne Korrektur ungültig
- Erfordert eine vorab festgelegte Stichprobengröße
Der bayesianische Ansatz
Bayesianisches Testen beginnt mit einer Priori-Annahme und aktualisiert diese mit den beobachteten Daten zu einer Posteriori-Verteilung.
Die Frage lautet:
„Wie hoch ist angesichts der beobachteten Daten die Wahrscheinlichkeit, dass B besser ist als A?"
Stärken
- Liefert direkte Wahrscheinlichkeitsaussagen („92 % Wahrscheinlichkeit, dass B besser ist")
- Erlaubt natürliches Prüfen — Sie können Ergebnisse jederzeit ansehen
- Intuitive Interpretation, die dem natürlichen Denken entspricht
- Kann Vorwissen aus früheren Experimenten einbeziehen
Einschränkungen
- Ergebnisse hängen vom Prior ab — verschiedene Priors liefern verschiedene Antworten
- Keine garantierte feste Falsch-Positiv-Rate
- Kann bei kleinen Stichproben überoptimistisch sein, wenn der Prior zu stark ist
Direkter Vergleich
| Aspekt | Frequentistisch | Bayesianisch |
|---|---|---|
| Kernfrage | Ist der Unterschied real oder zufälliges Rauschen? | Wie hoch ist die Wahrscheinlichkeit, dass B besser ist als A? |
| Primäre Ausgabe | p-Wert und Konfidenzintervall | Posteriori-Wahrscheinlichkeit und Kredibilitätsintervall |
| Vorzeitiges Prüfen | Erhöht die Fehlerrate ohne Korrektur | Sicher — die Wahrscheinlichkeit aktualisiert sich kontinuierlich |
| Stichprobengröße | Muss vor dem Test festgelegt werden | Flexibel — Stopp möglich, wenn die Wahrscheinlichkeit hoch genug ist |
| Interpretation | „Wir lehnen die Nullhypothese bei α = 0,05 ab" | „Es gibt eine 96-prozentige Wahrscheinlichkeit, dass B besser ist als A" |
Wann welchen Ansatz verwenden
Frequentistisch verwenden, wenn:
- Sie eine garantierte Kontrolle der Falsch-Positiv-Rate benötigen (z. B. regulatorische Kontexte)
- Sie sich auf eine feste Stichprobengröße festlegen und den vollständigen Test durchführen können
- Sie ein einfaches Ja/Nein-Entscheidungsframework wünschen
Bayesianisch verwenden, wenn:
- Sie die Wahrscheinlichkeit wissen möchten, dass eine Variante gewinnt
- Sie Ergebnisse kontinuierlich überwachen und frühzeitig stoppen müssen
- Sie viele Tests durchführen und intuitive Berichte für Stakeholder wünschen
Sequenzielles Testen verwenden, wenn:
- Sie frequentistische Garantien wünschen, aber Ergebnisse zwischendurch prüfen müssen
- Sie frühzeitiges Stoppen mit kontrollierter Fehlerrate wünschen
Probieren Sie beide Ansätze
Geben Sie Ihre Daten in den Konversionen-Rechner für ein frequentistisches Ergebnis und in den Bayesianischen Rechner für ein bayesianisches Ergebnis ein. Der Vergleich beider kann Ihnen ein umfassenderes Bild dessen geben, was Ihre Daten aussagen.