When should I use Welch's t-test vs Mann-Whitney?

Use Welch's t-test for normally distributed data or large samples. Use Mann-Whitney for skewed data with outliers.

Why Welch's t-test instead of Student's?

Welch's doesn't assume equal variances between groups, making it more robust for A/B testing.

How do I prepare continuous metric data?

Compute one value per user (e.g., revenue per visitor, session duration). For t-test, you need mean, standard deviation, and sample size per group.

Калькулятор A/B тестів безперервних метрик

Чи є значуща різниця в моїх безперервних метриках на користувача?

Аналізуйте результати A/B тестів для безперервних метрик: дохід на відвідувача, тривалість сесії, сторінки за сесію. Обирайте між t-тестом Уелча або U-тестом Манна-Уітні.

When to use: For metrics where each user provides exactly one value — e.g., total revenue per user, session duration, pages viewed. If your metric is a ratio like Revenue/Orders where the denominator varies per user, use the Ratio Metrics calculator instead.

Як користуватися калькулятором

Для t-тесту введіть розмір вибірки, середнє та стандартне відхилення. Для Манна-Уітні вставте сирі дані. T-тест Уелча не передбачає рівності дисперсій.

T-тест Уелча та U-тест Манна-Уітні

На відміну від тестів конверсій, безперервні метрики потребують порівняння середніх. T-тест Уелча обчислює t-статистику. U-тест Манна-Уітні — непараметрична альтернатива для асиметричних розподілів.

Коли використовувати цей калькулятор

Коли метрика — безперервна величина: дохід на відвідувача, середній чек, тривалість сесії, сторінки за сесію, час на сторінці, оцінки задоволеності.

Поширені помилки тестування безперервних метрик

Дані про дохід зазвичай асиметричні. Стандартне відхилення критично важливе. Часті помилки: використання z-тесту пропорцій (неправильний тест), ігнорування викидів, порівняння підсумків замість метрик на відвідувача.