Teste A/B bayesiano vs frequentista
Essas duas abordagens estatÃsticas respondem a perguntas diferentes sobre o seu teste A/B. Nenhuma é universalmente melhor — a escolha certa depende dos seus objetivos e restrições.
A abordagem frequentista
O teste frequentista é a abordagem tradicional. Você define uma hipótese nula ("sem diferença"), coleta dados e calcula um valor p.
Ele pergunta:
"Se não houvesse diferença real, qual seria a probabilidade de eu observar dados tão extremos?"
Pontos fortes
- Teoria bem estabelecida com décadas de pesquisa
- Taxa de falsos positivos fixa (α) é garantida se você seguir o protocolo
- Fácil de pré-registrar: defina o tamanho da amostra, execute o teste, analise uma vez
Limitações
- Não pode dizer "há X% de chance de B ser melhor" — apenas "rejeitamos/não rejeitamos a hipótese nula"
- Espiar os resultados invalida as garantias sem correção
- Requer tamanho de amostra fixo definido antecipadamente
A abordagem bayesiana
O teste bayesiano começa com uma crença prévia e a atualiza com os dados observados para produzir uma distribuição posterior.
Ele pergunta:
"Dados os dados que observei, qual é a probabilidade de B ser melhor que A?"
Pontos fortes
- Fornece afirmações diretas de probabilidade ("92% de chance de B ser melhor")
- Lida naturalmente com espiar resultados — você pode verificar a qualquer momento
- Interpretação intuitiva que corresponde a como as pessoas pensam
- Pode incorporar conhecimento prévio de experimentos anteriores
Limitações
- Os resultados dependem da prior — priors diferentes geram respostas diferentes
- Sem garantia de taxa de falsos positivos fixa
- Pode ser excessivamente confiante com amostras pequenas se a prior for muito forte
Comparação lado a lado
| Aspecto | Frequentista | Bayesiano |
|---|---|---|
| Pergunta central | A diferença é real ou ruÃdo aleatório? | Qual a probabilidade de B superar A? |
| Resultado principal | Valor p e intervalo de confiança | Probabilidade posterior e intervalo de credibilidade |
| Espiar resultados | Infla as taxas de erro sem correção | Seguro — a probabilidade se atualiza continuamente |
| Tamanho da amostra | Deve ser fixado antes do teste | FlexÃvel — pode parar quando a probabilidade for alta o suficiente |
| Interpretação | "Rejeitamos a hipótese nula com α = 0,05" | "Há 96% de chance de B ser melhor que A" |
Quando usar qual
Use frequentista quando:
- Você precisa de controle garantido de falsos positivos (ex.: contextos regulatórios)
- Você pode se comprometer com um tamanho de amostra fixo e executar o teste completo
- Você quer um framework simples de decisão sim/não
Use bayesiano quando:
- Você quer saber a probabilidade de uma variante vencer
- Você precisa monitorar resultados continuamente e parar antecipadamente
- Você executa muitos testes e quer relatórios intuitivos para stakeholders
Use teste sequencial quando:
- Você quer garantias frequentistas mas precisa espiar os resultados
- Você quer parada antecipada com taxas de erro controladas
Experimente ambas as abordagens
Execute seus dados na Calculadora de conversões para um resultado frequentista e na Calculadora bayesiana para um resultado bayesiano. Comparar ambos pode dar uma visão mais completa do que seus dados dizem.