What is statistical power in A/B testing?

Statistical power is the probability that your test will detect a real effect if one exists.

What power level should I aim for?

80% is the widely accepted minimum. Use 90% or higher for high-stakes tests.

Should I do power analysis before or after my test?

Before. Post-hoc power analysis using the observed effect size is statistically invalid.

Калькулятор статистической мощности A/B теста

Достаточно ли статистической мощности у моего теста для обнаружения ожидаемого эффекта?

Определите мощность вашего A/B теста. Узнайте, какие размеры эффекта можно надёжно обнаружить с текущей выборкой.

Как пользоваться калькулятором

Введите размер выборки на вариант, базовую конверсию и MDE. Калькулятор покажет мощность — вероятность обнаружения реального эффекта такого размера. Меняйте MDE для построения кривой мощности.

Что такое статистическая мощность

Мощность — вероятность правильного отклонения нулевой гипотезы при реальном эффекте. Вычисляется как 1 минус ошибка II рода (β). Зависит от размера выборки, эффекта, уровня значимости (α) и базовой конверсии. Стандартный минимум — 80%.

Когда использовать этот калькулятор

Перед тестом — для проверки адекватности выборки. После теста с незначимым результатом — для понимания, была ли достаточная мощность. Незначимый результат слабого теста не означает отсутствие эффекта.

Распространённые ошибки анализа мощности

Самая частая ошибка — проведение слабых тестов (мощность < 80%) и вывод об отсутствии эффекта. Ещё одна ошибка — пост-хок анализ мощности с наблюдаемым эффектом, что является порочным кругом. Мощность следует рассчитывать до теста.