Как выбрать правильный статистический тест для A/B теста

Шаг 1: Какой тип метрики вы тестируете?

Первый вопрос: какие данные генерирует ваша метрика?

• Бинарные / Конверсии — пользователь либо конвертируется, либо нет (клик, покупка, регистрация). Используйте Калькулятор конверсий.
• Непрерывные метрики на пользователя — у каждого пользователя одно числовое значение (доход, длительность сессии, просмотры). Используйте Калькулятор непрерывных метрик.
• Метрики-отношения — sum(X)/sum(Y), где знаменатель различается (AOV = доход/заказы, доход на клик). Используйте Калькулятор метрик-отношений.

Шаг 2: Выберите метод для типа метрики

Для конверсий:

• Z-тест (две пропорции) — выбор по умолчанию. Хорошо работает при умеренных и больших выборках (n > 30) и ожидаемых частотах ≥ 5.
• Критерий Хи-квадрат — лучше всего при сравнении более 2 групп или анализе таблиц сопряжённости.
• Точный тест Фишера — используйте при малых выборках или ожидаемых частотах < 5. Точный, а не приблизительный.

Для непрерывных метрик:

• T-тест Уэлча — основной метод сравнения средних. Для нормальных данных или больших выборок (ЦПТ при n > 30). Не предполагает равенства дисперсий.
• U-тест Манна-Уитни — используйте при асимметричных данных, выбросах или нарушении нормальности. Сравнивает распределения.

Для метрик-отношений:

• Простой t-тест на отношениях — быстрый, но может быть смещённым при различном числе событий.
• Дельта-метод — рекомендуемый подход. Правильно обрабатывает дисперсию отношения.
• Бутстрап — наиболее гибкий. Без предположений о распределении. Лучший для сложных метрик.

Шаг 3: Особые случаи

• Хотите подглядывать в результаты? Используйте Последовательное тестирование с функциями расходования для контроля ложноположительных при досрочной остановке.
• Тестируете более одного варианта? Используйте Мультивариантный калькулятор с поправками Бонферрони или Холма.
• Предпочитаете вероятности вместо p-значений? Используйте Байесовский калькулятор для апостериорной вероятности победы варианта.

Быстрая схема решений