Calculadora de poder estatístico para testes A/B
Meu teste tem poder estatístico suficiente para detectar o efeito esperado?
Determine o poder estatístico do seu teste A/B. Descubra quais tamanhos de efeito você pode detectar de forma confiável com seu tamanho de amostra e tráfego atuais.
Como usar esta calculadora
Insira o tamanho da amostra por variante, a taxa de conversão base e o efeito mínimo detectável que deseja avaliar. A calculadora mostra o poder estatístico — a probabilidade de que seu teste detectará corretamente um efeito real daquele tamanho. Ajuste o MDE para visualizar a curva de poder, que mostra como o poder varia para diferentes tamanhos de efeito.
Entendendo o poder estatístico
Poder estatístico é a probabilidade de que um teste rejeite corretamente a hipótese nula quando um efeito real existe. É calculado como 1 menos a taxa de erro Tipo II (beta). O poder depende de quatro fatores: tamanho da amostra, tamanho do efeito, nível de significância (alfa) e taxa de conversão base. Maior poder significa menos falsos negativos — você tem menor probabilidade de perder uma melhoria real. O mínimo padrão é 80%, o que significa que você tem 80% de chance de detectar um efeito verdadeiro.
Quando usar esta calculadora
Use a análise de poder antes de executar um teste para verificar se seu tamanho de amostra é adequado, ou após um teste que não mostrou resultado significativo para entender se você tinha poder suficiente para detectar o efeito desejado. Um resultado não significativo de um teste com poder insuficiente não significa que não há efeito — significa que seu teste não foi capaz de detectá-lo. Essa distinção é crítica para a interpretação correta.
Erros comuns na análise de poder
O erro mais comum é executar testes com poder insuficiente (abaixo de 80%) e concluir que não há efeito quando o resultado não é significativo. Outro erro é calcular o poder após o teste usando o tamanho do efeito observado, o que é um raciocínio circular (análise de poder post-hoc). O poder deve ser calculado antes do teste usando o tamanho mínimo de efeito que importa para você, não o efeito que você realmente observou.