Байесовский калькулятор A/B теста
Какова вероятность того, что вариант B лучше A?
Анализируйте A/B тест байесовской статистикой. Получите вероятность победы каждого варианта, ожидаемые потери и кредитные интервалы.
Как пользоваться калькулятором
Введите посетителей и конверсии для контроля и варианта. Калькулятор использует бета-биномиальную модель с неинформативными априори (Beta(1,1)) и 50 000 симуляций Монте-Карло для оценки вероятности превосходства каждого варианта.
Байесовское vs частотное A/B тестирование
В отличие от частотных методов с p-значениями, байесовский анализ даёт прямую вероятность превосходства одного варианта. Апостериорное распределение конверсии моделируется бета-распределением. Вероятность победы, ожидаемые потери и кредитные интервалы вычисляются из симуляций Монте-Карло.
Когда использовать байесовский анализ
Байесовский подход хорош, когда нужны интуитивные вероятностные утверждения, решения на основе ожидаемых потерь, или при малых выборках. Позволяет включить априорные знания о конверсиях.
Распространённые ошибки байесовского тестирования
Использование слишком информативных априори искажает результаты. Неинформативные априори (Beta(1,1)) безопаснее. Также не путайте вероятность победы с величиной улучшения — вариант может иметь 99% вероятность, но улучшение всего 0.01%. Всегда проверяйте ожидаемые потери.