What is the peeking problem in A/B testing?

Peeking means checking results repeatedly, inflating the false positive rate from 5% to as high as 14% with 5 checks.

What is the difference between O'Brien-Fleming and Pocock?

O'Brien-Fleming uses strict boundaries early and relaxed ones late. Pocock uses equal boundaries at each look.

Without sequential testing, early stopping inflates false positives and overestimates effect sizes.

Чи можна зупинити A/B-тест достроково, контролюючи хибнопозитивні результати?

Перевірте, чи досяг ваш A/B тест значущості за допомогою меж послідовного тестування.

Введіть кількість запланованих аналізів та поточний номер. Оберіть функцію витрачання: О'Брайєн-Флемінг або Покок.

Послідовне тестування дозволяє перевіряти результати в запланованих точках, контролюючи загальний рівень хибнопозитивних.

Коли потрібно моніторити експеримент і мати можливість ранньої зупинки. Правильне рішення проблеми підглядання.

Використання послідовних меж без попереднього планування. Перевірка частіше, ніж заплановано.