What sample size do I need for an A/B test?

It depends on your baseline conversion rate and the minimum effect size you want to detect.

What is minimum detectable effect (MDE)?

MDE is the smallest improvement you want your test to be able to detect.

What statistical power should I use?

80% power is the standard minimum, meaning an 80% chance of detecting a real effect.

Calculadora de tamanho de amostra para testes A/B

Question: How many visitors do I need for my A/B test?

Planeje seu teste A/B calculando o tamanho da amostra necessario. Insira sua taxa de conversao base, o efeito minimo detectavel e o poder desejado para saber quantos visitantes voce precisa por variante.

Como usar esta calculadora

Insira sua taxa de conversão base (sua taxa de conversão atual antes do teste), o efeito minimo detectavel (a menor melhoria que voce deseja detectar), o nivel de confianca desejado e o poder estatistico. A calculadora mostra instantaneamente quantos visitantes voce precisa por variante. Ajuste o controle deslizante do MDE para ver como efeitos menores exigem exponencialmente mais trafego.

Entendendo a fórmula

O tamanho da amostra e calculado usando analise de poder para um teste z de duas proporcoes. A formula leva em conta quatro parametros principais: sua taxa de conversao base, o tamanho do efeito minimo detectavel, o nivel de significancia (alfa) e o poder estatistico desejado (1 - beta). A relacao entre tamanho da amostra e MDE nao e linear — reduzir pela metade o tamanho do efeito que voce deseja detectar aproximadamente quadruplica o tamanho da amostra necessario.

Quando usar esta calculadora

Use esta calculadora antes de lançar qualquer teste A/B para determinar quantos visitantes voce precisa. Executar um teste sem planejamento adequado do tamanho da amostra e um dos erros mais comuns em experimentacao. Um teste com poder insuficiente pode nao detectar uma melhoria real, desperdicando tempo e recursos. Um teste com poder excessivo desperdicar trafego que poderia ser usado em outros experimentos.

Erros comuns no planejamento de amostra

Definir o MDE muito pequeno leva a tamanhos de amostra impraticaveis. Seja realista sobre qual tamanho de efeito importa para o seu negocio. Esquecer de considerar o numero de variantes (cada variante adicional precisa do mesmo tamanho de amostra) e outro erro frequente. Lembre-se tambem de que o tamanho da amostra e por variante, nao total — se voce precisa de 10.000 por variante com duas variantes, sao 20.000 visitantes no total.