What is statistical power in A/B testing?

Statistical power is the probability that your test will detect a real effect if one exists.

What power level should I aim for?

80% is the widely accepted minimum. Use 90% or higher for high-stakes tests.

Before. Post-hoc power analysis using the observed effect size is statistically invalid.

Чи достатньо статистичної потужності мого тесту для виявлення очікуваного ефекту?

Визначте потужність вашого A/B тесту. Дізнайтеся, які ефекти можна надійно виявити.

Введіть розмір вибірки на варіант, базову конверсію та MDE. Калькулятор покаже потужність — ймовірність виявлення реального ефекту.

Потужність — ймовірність правильного відхилення нульової гіпотези. Стандартний мінімум — 80%.

Перед тестом — для перевірки адекватності вибірки. Після незначущого результату — для розуміння потужності.

Проведення слабких тестів (< 80%) і висновок про відсутність ефекту. Пост-хок аналіз потужності — порочне коло.