What is a ratio metric in A/B testing?

A ratio metric is computed as sum(X)/sum(Y) — like AOV (revenue/orders), ARPU (revenue/users), or CTR (clicks/impressions).

Why not just use a t-test on ratio metrics?

Simple averaging of per-user ratios is biased when users contribute different amounts. The delta method provides unbiased variance estimation.

What is the delta method?

The delta method approximates the variance of a ratio using Taylor expansion, accounting for the covariance between numerator and denominator.

Ratio-Metriken A/B-Test-Rechner

Question: Is the difference in my ratio metric (like AOV or revenue per click) statistically significant?

Analysieren Sie A/B-Testergebnisse für Ratio-Metriken, die als sum(X)/sum(Y) berechnet werden — wie durchschnittlicher Bestellwert, Umsatz pro Nutzer, Klickrate und mehr. Verwendet die Delta-Methode für eine genaue, unverzerrte Varianzschätzung von Ratio-Metriken.

When to use: For metrics computed as sum(X)/sum(Y) where the denominator varies per user — e.g., AOV (revenue/orders), Revenue per Click, or Time per Session. Users contribute different numbers of events, making simple averaging biased. If your metric is one value per user (like total revenue), use the Continuous Metrics calculator instead.

So verwenden Sie diesen Rechner

Geben Sie die Stichprobengröße, den Mittelwert und die Standardabweichung für jede Gruppe ein. Bei Umsatzdaten ist der Mittelwert Ihr durchschnittlicher Bestellwert oder Umsatz pro Besucher, und die Standardabweichung misst, wie stark die einzelnen Werte variieren. Die meisten Analytics-Plattformen liefern diese Werte. Der Rechner verwendet die Delta-Methode, um die Varianz für Ratio-Metriken korrekt zu schätzen und die Korrelation zwischen Zähler und Nenner zu berücksichtigen.

Delta-Methode für Ratio-Metriken

Ratio-Metriken wie AOV (Gesamtumsatz / Gesamtbestellungen) und ARPU (Gesamtumsatz / Gesamtnutzer) können nicht mit einem einfachen t-Test auf Pro-Nutzer-Durchschnitte analysiert werden, da die Varianz eines Ratios nicht gleich der Varianz einzelner Beobachtungen ist. Die Delta-Methode liefert eine unverzerrte Schätzung der Varianz eines Ratios mittels Taylor-Entwicklung, wobei die Varianzen von Zähler und Nenner sowie deren Kovarianz berücksichtigt werden. Dies ergibt korrekte Konfidenzintervalle und p-Werte für Metriken, die als sum(X)/sum(Y) definiert sind.

Wann Sie diesen Rechner verwenden sollten

Verwenden Sie diesen Rechner, wenn Ihre Zielmetrik ein Verhältnis zweier Summen ist — beispielsweise Gesamtumsatz geteilt durch Gesamtnutzer (ARPU), Gesamtumsatz geteilt durch Gesamtbestellungen (AOV), Gesamtklicks geteilt durch Gesamtimpressionen (CTR) oder jede Metrik, die als sum(X)/sum(Y) definiert ist. Dies ist der korrekte Ansatz für jede Metrik, bei der jeder Nutzer einen numerischen Wert beisteuert statt nur ein Ja/Nein-Ergebnis.

Häufige Fehler beim Testen von Ratio-Metriken

Der häufigste Fehler ist, Ratio-Metriken als einfache Pro-Nutzer-Durchschnitte zu behandeln und einen Standard-t-Test anzuwenden, was zu verzerrten Varianzschätzungen und falschen p-Werten führen kann. Weitere Fehler sind das Ignorieren des Einflusses von Ausreißern auf stark schiefe Umsatzdaten, die fehlende Berücksichtigung der hohen Varianz bei Ratio-Metriken und der Vergleich aggregierter Gesamtwerte statt korrekt definierter Ratio-Metriken.