Як довго проводити A/B тест?

Тривалість залежить від вибірки та трафіку

Тривалість — функція розміру вибірки та денних відвідувачів. Калькулятор тривалості обчислить це.

Формула проста: дні = вибірка ÷ денні відвідувачі на варіант.

Завжди проводьте повними тижнями

Поведінка різниться протягом тижня.

Тест за 10 днів — один тиждень плюс три дні. Рішення: округлюйте до повних тижнів.

Це забезпечує рівне представництво кожного дня.

Що впливає на тривалість?

• Денний трафік — більше відвідувачів — швидше збір даних.
• Базова конверсія — низькі показники потребують більше даних.
• MDE — менші зміни — експоненційно довше.
• Кількість варіантів — кожен потребує свою частку трафіку.
• Розподіл трафіку — при 50% тривалість подвоюється.

Поширені помилки

• Зупинка при значущості — щоденна перевірка підвищує хибнопозитивні. Використовуйте послідовне тестування.
• Занадто короткий тест — 3 дні — половина тижневого циклу.
• Занадто довгий тест — тести довше місяців накопичують зовнішні фактори. Тримайтеся 4-6 тижнів.
• Ігнорування свят — трафік у Чорну п'ятницю нетиповий.

Рекомендації

• Мінімум: 2 тижні (14 днів).
• Максимум: 4-6 тижнів.
• Якщо більше 6 тижнів — збільшіть MDE або оберіть популярнішу сторінку.
• Зафіксуйте дату завершення до запуску.

Розрахуйте тривалість

Використовуйте Калькулятор тривалості. Поєднайте з Калькулятором розміру вибірки.