When should I use Z-test vs Chi-Square for A/B testing?

For 2 groups with binary outcomes, both give identical results (chi-square = z-squared). Z-test also provides confidence intervals. Chi-Square supports 3+ groups.

When should I use Fisher's exact test?

Use Fisher's exact test when sample sizes are small and expected cell counts are below 5, where chi-square approximation is unreliable.

What confidence level should I use for my A/B test?

95% is the industry standard. Use 90% for exploratory tests, 99% for high-stakes decisions.

Calculadora de teste A/B de conversões

Existe uma diferença estatisticamente significativa entre as taxas de conversão do meu teste A/B?

Analise os resultados de conversão do seu teste A/B com três métodos estatísticos intercambiáveis: Z-test de proporções, teste Qui-Quadrado e teste exato de Fisher. Insira visitantes e conversões de cada variante para obter resultados instantâneos com valores p, intervalos de confiança e visualizações de distribuição.

Como usar esta calculadora

Insira o número de visitantes e conversões do grupo de controle (A) e do grupo variante (B). Selecione o nível de confiança desejado (95% é o padrão da indústria) e se deseja um teste unilateral ou bilateral. Os resultados são atualizados em tempo real conforme você digita — não é necessário clicar em nenhum botão.

Como funciona a matemática

Esta calculadora oferece três métodos para comparar taxas de conversão. O Z-test utiliza o teste z de duas proporções, calculando a diferença das proporções dividida pelo erro padrão combinado. O teste Qui-Quadrado compara frequências observadas e esperadas em uma tabela de contingência. O teste exato de Fisher calcula a probabilidade exata para amostras pequenas onde as aproximações podem ser pouco confiáveis. Os três métodos testam se a diferença nas taxas de conversão é estatisticamente significativa.

Quando usar esta calculadora

Use esta calculadora após executar um teste A/B para determinar se a diferença observada nas taxas de conversão é estatisticamente significativa ou se pode ser devida ao acaso. Esta é a análise mais comum para experimentos de marketing, testes de funcionalidades de produto e otimização de experiência do usuário.

Erros comuns em testes A/B

Os erros mais comuns incluem verificar os resultados antes de atingir o tamanho da amostra necessário (o que infla a taxa de falsos positivos), executar testes com poder insuficiente que não conseguem detectar diferenças significativas, não corrigir para comparações múltiplas ao testar mais de duas variantes, e interromper os testes prematuramente com base em tendências iniciais.