Den richtigen statistischen Test für Ihren A/B-Test auswählen

Schritt 1: Welchen Typ von Metrik testen Sie?

Die allererste Frage: Welche Art von Daten liefert Ihre Metrik?

• Binär / Conversion-Raten — Jeder Nutzer konvertiert entweder oder nicht (geklickt, gekauft, angemeldet). Verwenden Sie den Konversionen-Rechner.
• Kontinuierliche Pro-Nutzer-Metriken — Jeder Nutzer hat einen numerischen Wert (Umsatz pro Nutzer, Sitzungsdauer, Seitenaufrufe). Verwenden Sie den Rechner für kontinuierliche Metriken.
• Ratio-Metriken — sum(X)/sum(Y), wobei der Nenner pro Nutzer variiert (AOV = Umsatz/Bestellungen, Umsatz pro Klick). Verwenden Sie den Ratio-Metriken-Rechner.

Schritt 2: Wählen Sie eine Methode innerhalb Ihres Metriktyps

Für Conversion-Raten:

• Z-Test (zwei Proportionen) — die Standardwahl. Funktioniert gut bei mittleren bis großen Stichproben (n > 30 pro Gruppe) und erwarteten Zellhäufigkeiten ≥ 5.
• Chi-Quadrat-Test — am besten geeignet zum gleichzeitigen Vergleich von mehr als 2 Gruppen oder zur Analyse von Kontingenztafeln mit mehreren Kategorien.
• Exakter Fisher-Test — verwenden Sie ihn bei kleinen Stichproben oder wenn erwartete Zellhäufigkeiten unter 5 liegen. Exakt statt approximativ.

Für kontinuierliche Metriken:

• Welch-t-Test — die erste Wahl zum Vergleich von Mittelwerten. Funktioniert bei normalverteilten Daten oder großen Stichproben (CLT gilt ab n > 30). Setzt keine gleichen Varianzen voraus.
• Mann-Whitney-U-Test — verwenden Sie ihn, wenn Daten stark schief sind, Ausreißer haben oder die Normalverteilungsannahme verletzen. Vergleicht gesamte Verteilungen statt nur Mittelwerte.

Für Ratio-Metriken:

• Einfacher t-Test auf Ratios — schnell, kann aber verzerrt sein, wenn Nutzer unterschiedlich viele Ereignisse beitragen.
• Delta-Methode — der empfohlene Ansatz. Behandelt die Varianz eines Ratios korrekt, wenn der Nenner pro Nutzer variiert.
• Bootstrap — die flexibelste Methode. Macht keine Verteilungsannahmen. Am besten für komplexe oder nicht-standardmäßige Metriken.

Schritt 3: Berücksichtigen Sie diese Sonderfälle

• Möchten Sie frühzeitig in die Ergebnisse schauen? Verwenden Sie Sequenzielles Testen mit Spending-Funktionen, um die Falsch-Positiv-Rate zu kontrollieren und frühzeitiges Stoppen zu ermöglichen.
• Testen Sie mehr als eine Variante? Verwenden Sie den Multi-Varianten-Rechner mit Bonferroni- oder Holm-Bonferroni-Korrekturen.
• Bevorzugen Sie Wahrscheinlichkeiten statt p-Werte? Verwenden Sie den Bayesianischen Rechner für die Posteriori-Wahrscheinlichkeit, dass eine Variante die andere übertrifft.

Schneller Entscheidungsbaum