When should I use Z-test vs Chi-Square for A/B testing?

For 2 groups with binary outcomes, both give identical results (chi-square = z-squared). Z-test also provides confidence intervals. Chi-Square supports 3+ groups.

When should I use Fisher's exact test?

Use Fisher's exact test when sample sizes are small and expected cell counts are below 5, where chi-square approximation is unreliable.

What confidence level should I use for my A/B test?

95% is the industry standard. Use 90% for exploratory tests, 99% for high-stakes decisions.

Calculadora de teste A/B de conversões

Question: Is there a statistically significant difference between my A/B test conversion rates?

Analise os resultados de conversão do seu teste A/B com três métodos estatísticos intercambiáveis: Z-test de proporções, teste Qui-Quadrado e teste exato de Fisher. Insira visitantes e conversões de cada variante para obter resultados instantâneos com valores p, intervalos de confiança e visualizações de distribuição.

Como usar esta calculadora

Insira o número de visitantes e conversões do grupo de controle (A) e do grupo variante (B). Selecione o nivel de confianca desejado (95% e o padrao da industria) e se deseja um teste unilateral ou bilateral. Os resultados sao atualizados em tempo real conforme voce digita — nao e necessario clicar em nenhum botao.

Como funciona a matemática

Esta calculadora oferece três métodos para comparar taxas de conversão. O Z-test utiliza o teste z de duas proporções, calculando a diferença das proporções dividida pelo erro padrão combinado. O teste Qui-Quadrado compara frequências observadas e esperadas em uma tabela de contingência. O teste exato de Fisher calcula a probabilidade exata para amostras pequenas onde as aproximações podem ser pouco confiáveis. Os três métodos testam se a diferença nas taxas de conversão é estatisticamente significativa.

Quando usar esta calculadora

Use esta calculadora após executar um teste A/B para determinar se a diferenca observada nas taxas de conversao e estatisticamente significativa ou se pode ser devida ao acaso. Esta e a analise mais comum para experimentos de marketing, testes de funcionalidades de produto e otimizacao de experiencia do usuario.

Erros comuns em testes A/B

Os erros mais comuns incluem verificar os resultados antes de atingir o tamanho da amostra necessário (o que infla a taxa de falsos positivos), executar testes com poder insuficiente que nao conseguem detectar diferencas significativas, nao corrigir para comparacoes multiplas ao testar mais de duas variantes, e interromper os testes prematuramente com base em tendencias iniciais.