What is the difference between Bayesian and frequentist A/B testing?

Frequentist tests produce p-values. Bayesian tests give direct probability that one variant is better.

What is expected loss in Bayesian A/B testing?

Expected loss is the average conversion rate you would lose by choosing the wrong variant.

What are credible intervals?

A 95% credible interval means there is a 95% probability the true value falls within that range.

Calculadora bayesiana para testes A/B

Question: What is the probability that variant B is better than A?

Analise os resultados do seu teste A/B usando estatistica bayesiana. Obtenha a probabilidade de cada variante ser a melhor, a perda esperada ao escolher a variante errada e intervalos de credibilidade.

Como usar esta calculadora

Insira o número de visitantes e conversões do controle e da variante. A calculadora utiliza um modelo Beta-Binomial com priors nao informativos (Beta(1,1)) e executa 50.000 simulacoes Monte Carlo para estimar a probabilidade de cada variante ser superior. Os resultados sao atualizados instantaneamente conforme voce altera os valores.

Teste A/B bayesiano vs frequentista

Diferente dos metodos frequentistas que produzem valores p, a analise bayesiana fornece diretamente a probabilidade de uma variante ser melhor. A distribuicao posterior da taxa de conversao de cada variante e modelada como uma distribuicao Beta. A probabilidade de ser o melhor, a perda esperada e os intervalos de credibilidade sao calculados a partir de amostras Monte Carlo extraidas dessas posteriores. Essa abordagem e mais intuitiva para decisoes de negocio porque fornece afirmacoes como "ha 95% de probabilidade de que a Variante B e melhor" em vez de "o resultado e significativo ao nivel de 5%".

Quando usar análise bayesiana

O teste A/B bayesiano e especialmente util quando voce precisa de afirmacoes de probabilidade intuitivas para stakeholders, quando deseja tomar decisoes com base na perda esperada em vez de significancia estatistica, ou quando seus tamanhos de amostra sao pequenos. Tambem permite incorporar conhecimento previo sobre taxas de conversao, caso voce o tenha. Muitas plataformas modernas de experimentacao utilizam metodos bayesianos como padrao.

Erros comuns em testes A/B bayesianos

Usar priors excessivamente informativos que enviesam os resultados em direcao as suas expectativas e um erro comum. Priors nao informativos (como Beta(1,1)) sao os mais seguros, a menos que voce tenha dados previos consistentes. Outro erro e confundir a probabilidade de ser o melhor com a magnitude da melhoria — uma variante pode ter 99% de probabilidade de ser melhor, mas melhorar a conversao em apenas 0,01%. Sempre verifique a perda esperada e a largura do intervalo de credibilidade junto com a probabilidade.