What is the multiple comparisons problem?

Testing many variants increases false positive risk. With 5 comparisons at 95% confidence, chance of at least one false positive is ~23%.

What is the difference between Bonferroni and Holm corrections?

Bonferroni divides significance level by the number of comparisons. Holm is strictly more powerful while still controlling error rate.

How many variants should I test at once?

Testing 3-5 variants is common. More variants means more traffic needed and longer test duration.

Калькулятор A/B/n мультиваріантного тесту

Який з моїх варіантів показує найкращий результат з урахуванням множинних порівнянь?

Порівнюйте три та більше варіантів одночасно з поправками на множинні порівняння. До 5 варіантів.

Як користуватися калькулятором

Введіть відвідувачів і конверсії. Оберіть поправку: Бонферроні (консервативніша) або Холм (менш консервативна). Калькулятор виконає всі попарні порівняння.

Навіщо потрібні поправки

При тестуванні кількох варіантів кожне порівняння має шанс хибнопозитивного. При 5 порівняннях на 95% довірі ймовірність хоча б одного — ~23%. Поправки підтримують загальну помилку на рівні 5%.

Коли використовувати мультиваріантне тестування

Коли потрібно одночасно протестувати кілька ідей. Пам'ятайте: більше варіантів — більша вибірка.

Поширені помилки

Множинні порівняння без поправок. Забагато варіантів при малому трафіку. Зміна варіантів під час тесту.