When should I use Welch's t-test vs Mann-Whitney?

Use Welch's t-test for normally distributed data or large samples. Use Mann-Whitney for skewed data with outliers.

Why Welch's t-test instead of Student's?

Welch's doesn't assume equal variances between groups, making it more robust for A/B testing.

How do I prepare continuous metric data?

Compute one value per user (e.g., revenue per visitor, session duration). For t-test, you need mean, standard deviation, and sample size per group.

Калькулятор A/B тестов непрерывных метрик

Есть ли значимая разница в моих непрерывных метриках на пользователя?

Анализируйте результаты A/B тестов для непрерывных метрик: доход на посетителя, длительность сессии, страницы за сессию. Выбирайте между t-тестом Уэлча (размер выборки, среднее, стандартное отклонение) или U-тестом Манна-Уитни (сырые данные).

When to use: For metrics where each user provides exactly one value — e.g., total revenue per user, session duration, pages viewed. If your metric is a ratio like Revenue/Orders where the denominator varies per user, use the Ratio Metrics calculator instead.

Как пользоваться калькулятором

Для t-теста введите размер выборки, среднее и стандартное отклонение для каждой группы. Для Манна-Уитни вставьте сырые данные. Для данных о доходе среднее — это средний чек или доход на посетителя, а стандартное отклонение показывает разброс. T-тест Уэлча не предполагает равенства дисперсий, что делает его устойчивым для реальных данных.

T-тест Уэлча и U-тест Манна-Уитни

В отличие от тестов конверсий (z-тест пропорций), непрерывные метрики (доход на посетителя, AOV, длительность сессии) требуют сравнения средних. T-тест Уэлча вычисляет t-статистику как разницу средних, делённую на стандартную ошибку разницы. U-тест Манна-Уитни — непараметрическая альтернатива, не предполагающая нормальности, более устойчивая для асимметричных распределений.

Когда использовать этот калькулятор

Используйте, когда метрика — непрерывная величина, а не бинарная конверсия. Примеры: доход на посетителя, средний чек, длительность сессии, страницы за сессию, время на странице, оценки удовлетворённости. Подходит для любой метрики, где пользователь вносит числовое значение.

Распространённые ошибки тестирования непрерывных метрик

Данные о доходе обычно асимметричны с несколькими очень крупными значениями. Стандартное отклонение критически важно — большое отклонение требует больших выборок. Частые ошибки: использование z-теста пропорций для непрерывных данных (неверный тест), игнорирование выбросов, сравнение итогов вместо метрик на посетителя.