Testes A/B para sites com pouco tráfego

A realidade de testar com pouco tráfego

A matemática é implacável: detectar um incremento relativo de 5% em uma taxa de conversão de 3% requer aproximadamente 85.000 visitantes por variante. Com 250 visitantes por dia por variante, são 340 dias — quase um ano.

Isso não significa que testes A/B são impossíveis com pouco tráfego. Significa que você precisa ser estratégico sobre o que testa e como.

Estratégias que funcionam

• Teste mudanças maiores — Ajustes sutis (cor do botão, mudanças de texto) produzem efeitos pequenos que precisam de amostras enormes para detectar. Em vez disso, teste abordagens fundamentalmente diferentes: layouts de página totalmente novos, propostas de valor diferentes, estruturas de preços diferentes. Efeitos maiores precisam de menos visitantes para serem detectados.
• Concentre-se em páginas de alto tráfego — Concentre os testes nas suas páginas com mais tráfego. Um teste na página inicial com 80% do tráfego será concluído muito mais rápido do que um em uma página de configurações com 2%.
• Use menos variantes — Cada variante divide seu tráfego. Com 500 visitantes/dia, um teste A/B (2 variantes) dá 250 por variante. Um teste A/B/C/D dá apenas 125 por variante — tornando a detecção ainda mais difícil.
• Aceite um MDE maior — Em vez de tentar detectar um incremento relativo de 5%, defina seu MDE para 15–20%. Você perderá melhorias pequenas, mas capturará as grandes vitórias — que são as que mais importam. Use a Calculadora de tamanho de amostra para ver como isso afeta o tráfego necessário.
• Execute testes mais longos — Com 250 visitantes diários por variante, um teste para um MDE relativo de 20% em uma taxa base de 5% precisa de aproximadamente 2.500 visitantes — 10 dias. Isso é perfeitamente viável. Planeje testes de 2 a 4 semanas em vez de sprints de 3 dias.

Métodos estatísticos para amostras pequenas

• Análise bayesiana — A Calculadora bayesiana funciona bem com amostras menores porque fornece uma probabilidade em vez de uma resposta binária significativo/não significativo. "72% de chance de B ser melhor" ainda é uma informação útil, mesmo que um teste frequentista dissesse "não significativo."
• Teste sequencial — A Calculadora sequencial permite monitorar resultados continuamente e parar antecipadamente se houver um vencedor claro. Isso pode economizar semanas de teste quando o efeito é grande.
• Teste exato de Fisher — Para testes de taxa de conversão com amostras muito pequenas (menos de 100 por grupo), o teste exato de Fisher é mais confiável do que o teste z padrão. A Calculadora de conversões oferece essa opção.

O que não fazer

• Não reduza seu limiar de significância — Usar α = 0,20 em vez de 0,05 para obter mais resultados significativos apenas significa que você implementará mais falsos positivos. Você fará mudanças sem efeito real — ou piorará as coisas.
• Não ignore os requisitos de tamanho de amostra — Executar um teste por 3 dias com 200 visitantes e declarar um vencedor é pior do que não testar — dá falsa confiança em um resultado aleatório.
• Não combine tráfego não comparável — Reunir tráfego de páginas ou segmentos de usuários muito diferentes para atingir o tamanho de amostra mais rápido introduz fatores confundidores que invalidam o teste.

Um framework prático para sites pequenos

1. Escolha sua página de maior tráfego
2. Teste uma mudança significativa (não um ajuste sutil)
3. Defina o MDE para 15–20% relativo
4. Use a Calculadora de duração para estimar a duração do teste
5. Execute por pelo menos 2 semanas completas
6. Analise com a Calculadora bayesiana para a interpretação mais útil

Pouco tráfego não significa que você não pode experimentar. Significa que cada experimento deve contar — teste ideias ousadas, aceite limiares de MDE maiores e foque em aprender.