What is the peeking problem in A/B testing?

Peeking means checking results repeatedly, inflating the false positive rate from 5% to as high as 14% with 5 checks.

What is the difference between O'Brien-Fleming and Pocock?

O'Brien-Fleming uses strict boundaries early and relaxed ones late. Pocock uses equal boundaries at each look.

What happens if you stop an A/B test too early?

Without sequential testing, early stopping inflates false positives and overestimates effect sizes.

Калькулятор последовательного тестирования

Можно ли остановить A/B-тест досрочно, контролируя ложноположительные результаты?

Проверьте, достиг ли ваш A/B тест значимости с помощью границ последовательного тестирования. Метод позволяет проверять результаты в нескольких точках без повышения ложноположительных.

Как пользоваться калькулятором

Введите планируемое число анализов и текущий номер. Введите посетителей и конверсии. Выберите функцию расходования: О'Брайен-Флеминг (консервативная вначале) или Покок (равные границы). Калькулятор покажет, пересекает ли z-оценка границу значимости.

Как работает последовательное тестирование

Классическое A/B тестирование требует фиксированного размера выборки. Последовательное тестирование позволяет проверять результаты в запланированных точках, контролируя общий уровень ложноположительных через функции расходования альфа.

Когда использовать последовательное тестирование

Когда нужно мониторить эксперимент и иметь возможность досрочной остановки для явных победителей или проигравших. Особенно ценно при срочных тестах или высокой цене продолжения проигрывающего варианта. Это правильное решение проблемы подглядывания.

Распространённые ошибки последовательного тестирования

Самая частая ошибка — использование последовательных границ без предварительного планирования. Число анализов и функцию расходования нужно определить до теста. Также нельзя проверять чаще запланированного.