Як обрати правильний статистичний тест для A/B тесту

Крок 1: Який тип метрики ви тестуєте?

Перше питання: які дані генерує ваша метрика?

• Бінарні / Конверсії — користувач або конвертується, або ні. Використовуйте Калькулятор конверсій.
• Безперервні метрики на користувача — у кожного одне числове значення. Використовуйте Калькулятор безперервних метрик.
• Метрики-відношення — sum(X)/sum(Y). Використовуйте Калькулятор метрик-відношень.

Крок 2: Оберіть метод

Для конверсій:

• Z-тест (дві пропорції) — за замовчуванням. Працює при n > 30 та очікуваних частотах ≥ 5.
• Критерій Хі-квадрат — для 3+ груп або таблиць спряженості.
• Точний тест Фішера — для малих вибірок або очікуваних частот < 5.

Для безперервних метрик:

• T-тест Уелча — основний метод. Не передбачає рівності дисперсій.
• U-тест Манна-Уітні — для асиметричних даних та викидів.

Для метрик-відношень:

• Простий t-тест — швидкий, але може бути зміщеним.
• Дельта-метод — рекомендований підхід.
• Бутстрап — найгнучкіший. Без припущень про розподіл.

Крок 3: Особливі випадки

• Хочете підглядати? Використовуйте Послідовне тестування.
• Тестуєте кілька варіантів? Використовуйте Мультиваріантний калькулятор з поправками.
• Ймовірності замість p-значень? Використовуйте Байєсівський калькулятор.

Швидка схема рішень