Як аналізувати результати A/B тесту

Крок 1: Перевірте коректність тесту

Перед переглядом результатів:

• Невідповідність розподілу (SRM) — Якщо очікували 50/50, але отримали 52/48 — можливі проблеми.
• Повні тижневі цикли — Тест мав тривати повні тижні.
• Відсутність зовнішнього втручання — Перевірте відсутність подій, що спотворюють результати.

Крок 2: Перевірте значущість

Введіть дані в відповідний калькулятор:

• Конверсії — Використовуйте Калькулятор конверсій
• Числові метрики — Використовуйте Калькулятор безперервних метрик
• Метрики-відношення — Використовуйте Калькулятор метрик-відношень

p < 0.05 — результат значущий при 95% довірі.

Крок 3: Оцініть розмір ефекту

+0.01% може бути значущим, але не вартим впровадження.

• Абсолютний ефект — Сира різниця (напр., +0.6 в.п.).
• Відносний ефект — Відсоткова зміна. Це важливо для бізнесу.

Чи достатній приріст для виправдання витрат?

Крок 4: Прочитайте довірчий інтервал

ДІ показує діапазон ймовірних ефектів.

• Вузький ДІ (напр., [+0.3%, +0.9%]) — Добра точність. Безпечно приймати рішення.
• Широкий ДІ (напр., [−0.5%, +1.7%]) — Висока невизначеність. Розгляньте продовження тесту.

ДІ інформативніший за p-значення.

Крок 5: Прийміть рішення

• Значущий позитивний результат — Впроваджуйте варіант.
• Значущий негативний результат — Не впроваджуйте. Аналізуйте причини.
• Не значуще — Ефект не виявлено. Перевірте потужність через Калькулятор потужності.

При невизначеному результаті: продовжіть тест або перейдіть до більших ідей.

Типові помилки

• Вибирання метрик — Не шукайте перемогу серед другорядних метрик.
• Пост-хок сегментація — Нарізка результатів після тесту підвищує помилки.
• Ефект новизни — Новий дизайн часто має тимчасовий підйом.