Entendendo o tamanho de amostra em testes A/B
Executar um teste com poucos visitantes desperdiça tempo e produz resultados não confiáveis. Com visitantes demais, você atrasa decisões. Veja como encontrar o ponto ideal.
Por que o tamanho da amostra importa
Um teste com tamanho de amostra insuficiente tem poder baixo — ele não conseguirá detectar efeitos reais na maioria das vezes. Isso leva a resultados inconclusivos e vagas de experimento desperdiçadas. Por outro lado, testes excessivamente grandes atrasam o lançamento de variantes vencedoras.
Os quatro parâmetros que determinam o tamanho da amostra
- Taxa base — sua taxa de conversão ou valor de métrica atual. Taxas base mais baixas exigem mais amostras porque há menos sinal nos dados.
- Efeito MÃnimo Detectável (MDE) — a menor melhoria que vale a pena detectar. Efeitos menores precisam de amostras maiores. Seja realista: um incremento relativo de 1% sobre uma taxa base de 2% é extremamente difÃcil de detectar.
- NÃvel de significância (α) — a taxa de falsos positivos, tipicamente 5% (95% de confiança). Reduzir α para 1% exige substancialmente mais dados.
- Poder estatÃstico (1-β) — a probabilidade de detectar um efeito real. 80% é o mÃnimo padrão. Aumentar para 90% adiciona aproximadamente 30% mais amostras necessárias.
Erros comuns
- Parar antes da hora — espiar os resultados e parar quando p < 0,05 infla dramaticamente a taxa de falsos positivos. Use o teste sequencial se precisar espiar.
- Usar poder post-hoc — calcular o poder após o término do teste não fornece informação útil. Sempre calcule o tamanho da amostra antes de lançar o teste.
- Ignorar divisões de tráfego — se apenas 50% do tráfego entra no teste, você precisa do dobro de visitantes totais. Use a Calculadora de duração para levar isso em conta.
- MDE irrealista — esperar detectar uma mudança relativa de 1% em uma taxa base de 3% exigiria milhões de visitantes. Alinhe o MDE com o seu limiar de impacto no negócio.
Regras práticas
- Reduzir o MDE pela metade aproximadamente quadruplica o tamanho de amostra necessário.
- Taxas base mais baixas precisam de mais visitantes — uma taxa base de 1% precisa de ~25x mais do que uma de 50% para o mesmo MDE relativo.
- Ir de 80% para 90% de poder aumenta a amostra em cerca de 30%.
- Adicionar mais variantes aumenta linearmente o tráfego total necessário.
Calcule seu tamanho de amostra
Use a Calculadora de tamanho de amostra para obter um número exato para sua taxa base, MDE e requisitos de poder especÃficos.