Байесовское vs частотное A/B тестирование
Два статистических подхода отвечают на разные вопросы о тесте. Ни один не лучше универсально — выбор зависит от целей.
Частотный подход
Частотное тестирование — традиционный подход. Вы формулируете нулевую гипотезу («нет разницы»), собираете данные и вычисляете p-значение.
Задаёт вопрос:
«Если разницы нет, насколько вероятны такие экстремальные данные?»
Сильные стороны
- Устоявшаяся теория с десятилетиями исследований
- Фиксированный уровень ложноположительных (α) гарантирован при соблюдении протокола
- Легко предрегистрировать: зафиксировать выборку, провести тест, проанализировать
Ограничения
- Нельзя сказать «вероятность X%, что B лучше» — только «отвергаем/не отвергаем нулевую»
- Подглядывание нарушает гарантии без коррекции
- Требует фиксированного размера выборки заранее
Байесовский подход
Байесовское тестирование начинает с априорного убеждения и обновляет его данными для получения апостериорного распределения.
Задаёт вопрос:
«Какова вероятность, что B лучше A, с учётом наблюдаемых данных?»
Сильные стороны
- Даёт прямые вероятностные утверждения («92% вероятность, что B лучше»)
- Естественно справляется с подглядыванием — можно проверять в любое время
- Интуитивная интерпретация, соответствующая мышлению людей
- Может учитывать априорные знания из предыдущих экспериментов
Ограничения
- Результаты зависят от априори — разные априори дают разные ответы
- Нет гарантии фиксированного уровня ложноположительных
- Может быть слишком уверен при малых выборках и сильном априори
Сравнение бок о бок
| Аспект | Частотный | Байесовский |
|---|---|---|
| Ключевой вопрос | Разница реальна или случайный шум? | Какова вероятность, что B лучше A? |
| Основной результат | P-значение и доверительный интервал | Апостериорная вероятность и кредитный интервал |
| Подглядывание в результаты | Повышает ошибки без коррекции | Безопасно — вероятность обновляется непрерывно |
| Размер выборки | Должен быть зафиксирован до теста | Гибкий — можно остановить при высокой вероятности |
| Интерпретация | «Отвергаем нулевую гипотезу при α = 0.05» | «Вероятность 96%, что B лучше A» |
Когда что использовать
Используйте частотный подход, когда:
- Нужен гарантированный контроль ложноположительных (напр., регуляторный контекст)
- Можете зафиксировать размер выборки и провести полный тест
- Нужна простая бинарная система решений
Используйте байесовский подход, когда:
- Хотите знать вероятность победы варианта
- Нужно мониторить результаты и останавливаться досрочно
- Проводите много тестов и нужна интуитивная отчётность
Используйте последовательное тестирование, когда:
- Хотите частотные гарантии, но нужно подглядывать
- Хотите досрочную остановку с контролем ошибок
Попробуйте оба подхода
Проанализируйте данные Калькулятором конверсий для частотного результата и Байесовским калькулятором для байесовского. Сравнение обоих даст полную картину.