When should I use Z-test vs Chi-Square for A/B testing?

For 2 groups with binary outcomes, both give identical results (chi-square = z-squared). Z-test also provides confidence intervals. Chi-Square supports 3+ groups.

When should I use Fisher's exact test?

Use Fisher's exact test when sample sizes are small and expected cell counts are below 5, where chi-square approximation is unreliable.

What confidence level should I use for my A/B test?

95% is the industry standard. Use 90% for exploratory tests, 99% for high-stakes decisions.

Калькулятор A/B тестов конверсий

Есть ли статистически значимая разница между конверсиями в моём A/B-тесте?

Введите посетителей и конверсии, выберите метод — и получите p-значение, доверительные интервалы и визуализацию. Три переключаемых метода: Z-тест пропорций, критерий Хи-квадрат и точный тест Фишера.

Как пользоваться калькулятором

Введите количество посетителей и конверсий для контрольной (A) и экспериментальной (B) группы. Выберите уровень доверия (95% — отраслевой стандарт) и тип теста — односторонний или двусторонний. Результаты обновляются в реальном времени.

Как работает математика

• Z-тест: разница пропорций, делённая на стандартную ошибку. Подходит для большинства A/B тестов конверсий. • Хи-квадрат: сравнивает наблюдаемые и ожидаемые частоты в таблице сопряжённости. Поддерживает 3+ группы. • Точный тест Фишера: вычисляет точную вероятность для малых выборок (ожидаемые частоты < 5).

Когда использовать этот калькулятор

Запустили A/B тест и хотите узнать, значима ли разница? Это основной калькулятор для маркетинговых экспериментов и тестов изменений в продукте. Лучше всего работает с бинарными исходами: клики, регистрации, покупки.

Распространённые ошибки в A/B тестировании

Самые частые ошибки: • Подглядывание в результаты до достижения нужного размера выборки — повышает ложноположительные. • Слабые тесты, которые не обнаруживают реальные различия. • Отсутствие поправок при тестировании более двух вариантов. • Преждевременная остановка по первым обнадёживающим результатам. Всегда определяйте размер выборки заранее.