Гайды по A/B тестированию

Практические гайды по проектированию экспериментов — от выбора теста до момента остановки.

Как выбрать правильный статистический тест

Не уверены: z-тест, t-тест, хи-квадрат или другое? Пройдите дерево решений на основе типа метрики.

Что на самом деле означает статистическая значимость, как работают p-значения и почему 95% доверие — это не 95% вероятность правоты.

Узнайте, что определяет размер выборки, как взаимодействуют базовые показатели и размеры эффекта.

Перевод размера выборки в дни, учёт объёма трафика и важность полных недельных циклов.

Пошаговое руководство: проверка значимости, размер эффекта, доверительные интервалы и принятие решения.

Сравнение двух статистических подходов к A/B тестированию. Когда использовать каждый и как они по-разному интерпретируют результаты.

Избегайте типичных ошибок: подглядывание, слабые тесты, неверные метрики и другое.

Как проводить осмысленные A/B тесты с ограниченным трафиком. Стратегии: крупные изменения, байесовские методы, скорректированные ожидания.