A/B тестування при малому трафіку

Реальність малого трафіку

Виявлення 5% підйому на 3% конверсії потребує ~85 000 на варіант. При 250 на день — 340 днів.

Це не означає неможливість. Потрібна стратегія.

Працюючі стратегії

• Тестуйте великі зміни — Тонкі правки дають малі ефекти. Тестуйте кардинально різні підходи.
• Фокус на популярних сторінках — Тестуйте на найпопулярніших сторінках.
• Менше варіантів — Кожен варіант ділить трафік.
• Більший MDE — MDE 15-20% замість 5%. Використовуйте Калькулятор розміру вибірки.
• Довші тести — Плануйте 2-4 тижні.

Методи для малих вибірок

• Байєсівський аналіз — Байєсівський калькулятор дає ймовірність замість бінарного результату.
• Послідовне тестування — Калькулятор послідовного тестування дозволяє ранню зупинку.
• Точний тест Фішера — При вибірках < 100 надійніший за z-тест. Калькулятор конверсій має цю опцію.

Чого не робити

• Не знижуйте поріг значущості — α = 0.20 призведе до впровадження змін без ефекту.
• Не ігноруйте вимоги до вибірки — Тест за 3 дні з 200 відвідувачами — гірше за відсутність тесту.
• Не об'єднуйте непорівнянний трафік — Об'єднання різних сторінок вносить зміщення.

Практичний фреймворк

1. Оберіть найпопулярнішу сторінку
2. Тестуйте значну зміну
3. MDE 15-20%
4. Використовуйте Калькулятор тривалості
5. Мінімум 2 тижні
6. Аналізуйте Байєсівським калькулятором

Малий трафік — не перешкода. Тестуйте сміливі ідеї, приймайте більший MDE та фокусуйтеся на навчанні.