A/B тестирование при малом трафике

Реальность тестирования при малом трафике

Математика неумолима: обнаружение 5% относительного подъёма на 3% конверсии требует ~85 000 посетителей на вариант. При 250 посетителях в день — это 340 дней, почти год.

Это не значит, что A/B тестирование невозможно. Это значит, нужна стратегия.

Работающие стратегии

• Тестируйте крупные изменения — Тонкие правки (цвет кнопки, текст) дают малые эффекты, требующие огромных выборок. Тестируйте кардинально разные подходы: новые макеты, ценностные предложения, ценообразование.
• Фокус на страницах с большим трафиком — Тестируйте на самых посещаемых страницах. Тест на главной с 80% трафика завершится гораздо быстрее.
• Меньше вариантов — Каждый вариант делит трафик. При 500 посетителях/день A/B тест даёт 250 на вариант. A/B/C/D — всего 125.
• Больший MDE — Вместо 5% относительного подъёма установите MDE 15-20%. Вы пропустите мелкие улучшения, но поймаете крупные победы. Используйте Калькулятор размера выборки.
• Длиннее тесты — При 250 посетителях/день тест для 20% MDE на 5% базе требует ~2 500 — 10 дней. Вполне осуществимо. Планируйте 2-4 недели.

Статистические методы для малых выборок

• Байесовский анализ — Байесовский калькулятор хорошо работает с малыми выборками, давая вероятность вместо бинарного «значимо/нет». «72% вероятность, что B лучше» — полезная информация.
• Последовательное тестирование — Калькулятор последовательного тестирования позволяет мониторить и останавливать досрочно при явном победителе. Экономит недели.
• Точный тест Фишера — При очень малых выборках (< 100 на группу) точный тест Фишера надёжнее z-теста. Калькулятор конверсий предлагает эту опцию.

Чего не делать

• Не снижайте порог значимости — α = 0.20 вместо 0.05 для бо́льшего числа «значимых» результатов приведёт к внедрению изменений без эффекта или с вредом.
• Не игнорируйте требования к выборке — Тест за 3 дня с 200 посетителями и объявление победителя хуже, чем отсутствие теста — это ложная уверенность в случайном результате.
• Не объединяйте несопоставимый трафик — Объединение трафика с разных страниц или сегментов для увеличения выборки вносит смешивающие факторы.

Практический фреймворк для малых сайтов

1. Выберите самую посещаемую страницу
2. Тестируйте значимое изменение (не мелочь)
3. Установите MDE 15-20% относительный
4. Используйте Калькулятор длительности для оценки
5. Проводите минимум 2 полные недели
6. Анализируйте Байесовским калькулятором для полезной интерпретации

Малый трафик не означает невозможность экспериментов. Каждый эксперимент должен быть значимым — тестируйте смелые идеи, принимайте больший MDE и фокусируйтесь на обучении.