Как долго проводить A/B тест?

Длительность зависит от выборки и трафика

Длительность — функция двух вещей: сколько посетителей нужно (размер выборки) и сколько приходит в день. Калькулятор длительности вычислит это.

Формула проста: дни = размер выборки ÷ дневные посетители на вариант. Но есть важные нюансы.

Всегда проводите тест полными неделями

Поведение пользователей сильно различается в течение недели. Понедельничные покупатели отличаются от субботних.

Тест за 10 дней охватывает одну полную неделю плюс три дня — эти дни получат непропорционально большой вес. Решение: всегда округляйте до полных недель (7, 14, 21, 28 дней).

Это обеспечивает равное представительство каждого дня недели.

Что влияет на длительность теста?

• Объём дневного трафика — больше посетителей — быстрее сбор данных.
• Базовая конверсия — низкие базовые показатели требуют больше данных.
• Минимально обнаружимый эффект — обнаружение меньших изменений экспоненциально увеличивает время.
• Количество вариантов — каждый вариант требует свою долю трафика.
• Распределение трафика — при 50% трафика в тесте длительность удваивается.

Распространённые ошибки длительности

• Остановка при значимости — ежедневная проверка и остановка при p < 0.05 повышает ложноположительные. Фиксируйте длительность заранее или используйте последовательное тестирование.
• Слишком короткий тест — тест за 3 дня охватывает половину недельного цикла. Даже при значимости результаты могут не обобщаться.
• Слишком длинный тест — тесты длиной в месяцы накапливают внешние факторы: сезонность, изменения продукта, маркетинговые кампании. Старайтесь укладываться в 4-6 недель.
• Игнорирование праздников — трафик в Чёрную пятницу не типичен. Избегайте запуска тестов вокруг крупных событий.

Практические рекомендации

• Минимум: 2 полные недели (14 дней) для двух циклов.
• Рекомендуемый максимум: 4-6 недель для избежания внешних факторов.
• Если калькулятор показывает более 6 недель, увеличьте MDE или выберите более посещаемую страницу.
• Всегда фиксируйте дату завершения до запуска.

Рассчитайте длительность теста

Используйте Калькулятор длительности для точной оценки. Совместите с Калькулятором размера выборки для понимания связи.