What is the multiple comparisons problem?

Testing many variants increases false positive risk. With 5 comparisons at 95% confidence, chance of at least one false positive is ~23%.

What is the difference between Bonferroni and Holm corrections?

Bonferroni divides significance level by the number of comparisons. Holm is strictly more powerful while still controlling error rate.

How many variants should I test at once?

Testing 3-5 variants is common. More variants means more traffic needed and longer test duration.

Калькулятор A/B/n мультивариантного теста

Какой из моих вариантов показывает лучший результат с учётом множественных сравнений?

Сравнивайте три и более вариантов одновременно с поправками на множественные сравнения. Добавляйте до 5 вариантов.

Как пользоваться калькулятором

Введите посетителей и конверсии для контроля и вариантов. Нажмите «Добавить вариант» для добавления до 5 вариантов. Выберите метод поправки: Бонферрони (консервативнее) или Холм (менее консервативен, но валиден). Калькулятор выполнит все попарные сравнения.

Зачем нужны поправки на множественные сравнения

При тестировании нескольких вариантов каждое сравнение имеет шанс ложноположительного результата. При 5 попарных сравнениях на 95% доверии вероятность хотя бы одного ложноположительного — около 23%. Поправки корректируют порог значимости для поддержания общей вероятности ошибки на уровне 5%.

Когда использовать мультивариантное тестирование

Когда нужно одновременно протестировать несколько идей и найти лучший вариант. Распространено в UX-экспериментах, тестировании заголовков и ценообразовании. Учтите: больше вариантов — больше нужная выборка.

Распространённые ошибки мультивариантного тестирования

Главная ошибка — множественные сравнения без поправок. Также: слишком много вариантов при недостаточном трафике, изменение вариантов в процессе теста или удаление слабых вариантов досрочно.