What is the peeking problem in A/B testing?

Peeking means checking results repeatedly, inflating the false positive rate from 5% to as high as 14% with 5 checks.

What is the difference between O'Brien-Fleming and Pocock?

O'Brien-Fleming uses strict boundaries early and relaxed ones late. Pocock uses equal boundaries at each look.

What happens if you stop an A/B test too early?

Without sequential testing, early stopping inflates false positives and overestimates effect sizes.

Calculadora de teste sequencial

Posso interromper meu teste A/B mais cedo controlando os falsos positivos?

Verifique se seu teste A/B atingiu significância usando limites de teste sequencial. Este método permite verificar os resultados em múltiplos pontos sem inflar a taxa de falsos positivos.

Como usar esta calculadora

Insira o número planejado de verificações (análises intermediárias) e em qual verificação você se encontra atualmente. Insira visitantes e conversões para cada variante. Selecione uma função de gasto: O'Brien-Fleming (conservadora no início, liberal no final) ou Pocock (limites iguais em cada verificação). A calculadora mostra se seu z-score atual cruza o limite de eficácia ou futilidade nesta análise intermediária.

Como funciona o teste sequencial

O teste A/B tradicional requer esperar até atingir um tamanho de amostra fixo. O teste sequencial permite verificar os resultados em intervalos planejados (verificações) enquanto controla a taxa global de falsos positivos. Utiliza funções de gasto de alfa que alocam o nível total de significância entre as verificações. O'Brien-Fleming gasta muito pouco alfa no início (difícil de parar cedo) mas quase tudo na verificação final. Pocock gasta alfa igualmente entre as verificações (mais fácil parar cedo, mas mais difícil na verificação final). Ambos os métodos mantêm a taxa de erro Tipo I global no nível desejado.

Quando usar teste sequencial

Use teste sequencial quando precisa monitorar um experimento ao longo do tempo e deseja a opção de parar antecipadamente para vencedores ou perdedores claros. Isso é especialmente valioso para testes com urgência de negócio (lançamentos de produto, campanhas sazonais) ou quando o custo de manter uma variante perdedora é alto (impacto negativo na receita). O teste sequencial é a solução correta para o problema de peeking — a tentação de verificar os resultados antes do tamanho de amostra planejado.

Erros comuns em testes sequenciais

O erro mais comum é usar limites sequenciais sem planejá-los antecipadamente. Você deve decidir o número de verificações e a função de gasto antes do teste começar. Outro erro é verificar os resultados com mais frequência do que o planejado — mesmo com teste sequencial, você só pode verificar nos intervalos pré-especificados. Usar limites de Pocock quando você planeja muitas verificações torna a análise final muito conservadora, por isso O'Brien-Fleming é frequentemente preferido para testes com muitas verificações planejadas.