What is a ratio metric in A/B testing?

A ratio metric is computed as sum(X)/sum(Y) — like AOV (revenue/orders), ARPU (revenue/users), or CTR (clicks/impressions).

Why not just use a t-test on ratio metrics?

Simple averaging of per-user ratios is biased when users contribute different amounts. The delta method provides unbiased variance estimation.

What is the delta method?

The delta method approximates the variance of a ratio using Taylor expansion, accounting for the covariance between numerator and denominator.

Калькулятор A/B тестов метрик-отношений

Является ли разница в моей метрике-отношении (например, AOV или доход на клик) статистически значимой?

Анализируйте результаты A/B тестов для метрик-отношений sum(X)/sum(Y): средний чек, доход на пользователя, CTR и другие. Дельта-метод для точной, несмещённой оценки дисперсии.

When to use: For metrics computed as sum(X)/sum(Y) where the denominator varies per user — e.g., AOV (revenue/orders), Revenue per Click, or Time per Session. Users contribute different numbers of events, making simple averaging biased. If your metric is one value per user (like total revenue), use the Continuous Metrics calculator instead.

Как пользоваться калькулятором

Введите размер выборки, среднее и стандартное отклонение для каждой группы. Калькулятор использует дельта-метод для правильной оценки дисперсии метрик-отношений, учитывая корреляцию числителя и знаменателя.

Дельта-метод для метрик-отношений

Метрики-отношения (AOV — доход/заказы, ARPU — доход/пользователи) нельзя анализировать простым t-тестом, потому что дисперсия отношения отличается от дисперсии отдельных наблюдений. Дельта-метод даёт несмещённую оценку дисперсии отношения через разложение Тейлора, что обеспечивает корректные доверительные интервалы и p-значения.

Когда использовать этот калькулятор

Используйте, когда метрика — отношение двух сумм: доход/пользователи (ARPU), доход/заказы (AOV), клики/показы (CTR) или любая метрика sum(X)/sum(Y). Это правильный подход для метрик, где каждый пользователь вносит числовое значение.

Распространённые ошибки тестирования метрик-отношений

Самая частая ошибка — использование обычного t-теста для метрик-отношений, что даёт смещённую оценку дисперсии и неверные p-значения. Другие ошибки: игнорирование выбросов, неучёт высокой дисперсии и сравнение агрегатов вместо метрик-отношений.