What is statistical power in A/B testing?

Statistical power is the probability that your test will detect a real effect if one exists.

What power level should I aim for?

80% is the widely accepted minimum. Use 90% or higher for high-stakes tests.

Should I do power analysis before or after my test?

Before. Post-hoc power analysis using the observed effect size is statistically invalid.

Calculadora de poder estatístico para testes A/B

Question: Does my test have enough statistical power to detect the expected effect?

Determine o poder estatistico do seu teste A/B. Descubra quais tamanhos de efeito voce pode detectar de forma confiavel com seu tamanho de amostra e trafego atuais.

Como usar esta calculadora

Insira o tamanho da amostra por variante, a taxa de conversão base e o efeito minimo detectavel que deseja avaliar. A calculadora mostra o poder estatistico — a probabilidade de que seu teste detectara corretamente um efeito real daquele tamanho. Ajuste o MDE para visualizar a curva de poder, que mostra como o poder varia para diferentes tamanhos de efeito.

Entendendo o poder estatístico

Poder estatistico e a probabilidade de que um teste rejeite corretamente a hipotese nula quando um efeito real existe. E calculado como 1 menos a taxa de erro Tipo II (beta). O poder depende de quatro fatores: tamanho da amostra, tamanho do efeito, nivel de significancia (alfa) e taxa de conversao base. Maior poder significa menos falsos negativos — voce tem menor probabilidade de perder uma melhoria real. O minimo padrao e 80%, o que significa que voce tem 80% de chance de detectar um efeito verdadeiro.

Quando usar esta calculadora

Use a análise de poder antes de executar um teste para verificar se seu tamanho de amostra e adequado, ou apos um teste que nao mostrou resultado significativo para entender se voce tinha poder suficiente para detectar o efeito desejado. Um resultado nao significativo de um teste com poder insuficiente nao significa que nao ha efeito — significa que seu teste nao foi capaz de detecta-lo. Essa distincao e critica para a interpretacao correta.

Erros comuns na análise de poder

O erro mais comum e executar testes com poder insuficiente (abaixo de 80%) e concluir que nao ha efeito quando o resultado nao e significativo. Outro erro e calcular o poder apos o teste usando o tamanho do efeito observado, o que e um raciocinio circular (analise de poder post-hoc). O poder deve ser calculado antes do teste usando o tamanho minimo de efeito que importa para voce, nao o efeito que voce realmente observou.