Calculadora bayesiana para testes A/B
Qual é a probabilidade de que a variante B seja melhor que A?
Analise os resultados do seu teste A/B usando estatística bayesiana. Obtenha a probabilidade de cada variante ser a melhor, a perda esperada ao escolher a variante errada e intervalos de credibilidade.
Como usar esta calculadora
Insira o número de visitantes e conversões do controle e da variante. A calculadora utiliza um modelo Beta-Binomial com priors não informativos (Beta(1,1)) e executa 50.000 simulações Monte Carlo para estimar a probabilidade de cada variante ser superior. Os resultados são atualizados instantaneamente conforme você altera os valores.
Teste A/B bayesiano vs frequentista
Diferente dos métodos frequentistas que produzem valores p, a análise bayesiana fornece diretamente a probabilidade de uma variante ser melhor. A distribuição posterior da taxa de conversão de cada variante é modelada como uma distribuição Beta. A probabilidade de ser o melhor, a perda esperada e os intervalos de credibilidade são calculados a partir de amostras Monte Carlo extraídas dessas posteriores. Essa abordagem é mais intuitiva para decisões de negócio porque fornece afirmações como "há 95% de probabilidade de que a Variante B é melhor" em vez de "o resultado é significativo ao nível de 5%".
Quando usar análise bayesiana
O teste A/B bayesiano é especialmente útil quando você precisa de afirmações de probabilidade intuitivas para stakeholders, quando deseja tomar decisões com base na perda esperada em vez de significância estatística, ou quando seus tamanhos de amostra são pequenos. Também permite incorporar conhecimento prévio sobre taxas de conversão, caso você o tenha. Muitas plataformas modernas de experimentação utilizam métodos bayesianos como padrão.
Erros comuns em testes A/B bayesianos
Usar priors excessivamente informativos que enviesam os resultados em direção às suas expectativas é um erro comum. Priors não informativos (como Beta(1,1)) são os mais seguros, a menos que você tenha dados prévios consistentes. Outro erro é confundir a probabilidade de ser o melhor com a magnitude da melhoria — uma variante pode ter 99% de probabilidade de ser melhor, mas melhorar a conversão em apenas 0,01%. Sempre verifique a perda esperada e a largura do intervalo de credibilidade junto com a probabilidade.