How long should you run an A/B test?

It depends on your traffic and effect size. Most tests need 1-4 weeks. Always run at least one full week.

Can I stop my test early if I see significant results?

Stopping early inflates false positive rates. Use sequential testing for valid early stopping.

Should I run my test for full weeks?

Yes, always round up to complete weeks to capture weekday and weekend traffic patterns.

Calculadora de duração para testes A/B

Por quanto tempo devo executar meu teste A/B?

Descubra quanto tempo seu teste A/B precisa ser executado para atingir significância estatística. Insira seu tráfego diário e os parâmetros do teste para obter uma estimativa precisa.

Como usar esta calculadora

Insira a média de visitantes diários, a porcentagem de tráfego alocada ao teste, sua taxa de conversão base atual e o efeito mínimo detectável. A calculadora calcula o tamanho da amostra necessário e divide pelo seu tráfego diário disponível para fornecer o número de dias necessários. Ajuste a porcentagem de tráfego para ver como alocar mais ou menos tráfego afeta a duração.

Como a duração é calculada

O cálculo de duração combina análise de tamanho de amostra com planejamento de tráfego. Primeiro, o tamanho da amostra necessário por variante é calculado usando análise de poder. Em seguida, a amostra total é dividida pelo tráfego diário efetivo (visitantes diários multiplicados pela porcentagem de tráfego, dividido pelo número de variantes). Isso fornece o número mínimo de dias necessários. A melhor prática é sempre executar por pelo menos uma semana completa para capturar efeitos de dia da semana.

Quando usar esta calculadora

Use esta calculadora durante a fase de planejamento para determinar se um teste é viável com seu nível de tráfego. Se a duração estimada exceder 4 a 6 semanas, considere aumentar o MDE (detectar apenas efeitos maiores), aumentar a alocação de tráfego ou escolher uma página com mais tráfego para testar. Saber a duração antecipadamente evita o erro comum de encerrar testes cedo demais.

Erros comuns na duração do teste

O maior erro é encerrar um teste antes de atingir a duração necessária porque os resultados iniciais parecem promissores (ou desanimadores). Isso se chama peeking e infla sua taxa de falsos positivos. Outros erros incluem não considerar diferenças de tráfego entre dias de semana e finais de semana, ignorar efeitos sazonais que podem distorcer os resultados, e não planejar ciclos de negócios completos suficientes.