When should I use Welch's t-test vs Mann-Whitney?

Use Welch's t-test for normally distributed data or large samples. Use Mann-Whitney for skewed data with outliers.

Why Welch's t-test instead of Student's?

Welch's doesn't assume equal variances between groups, making it more robust for A/B testing.

How do I prepare continuous metric data?

Compute one value per user (e.g., revenue per visitor, session duration). For t-test, you need mean, standard deviation, and sample size per group.

Calculadora A/B de métricas contínuas

Question: Is there a significant difference in my per-user continuous metrics?

Analise resultados de testes A/B para métricas contínuas por usuário como receita por visitante, duração da sessão, páginas por sessão e mais. Escolha entre o teste t de Welch (insira tamanho da amostra, média e desvio padrão) ou o teste de Mann-Whitney U (cole os dados brutos) dependendo dos seus dados e suposições de distribuição.

When to use: For metrics where each user provides exactly one value — e.g., total revenue per user, session duration, pages viewed. If your metric is a ratio like Revenue/Orders where the denominator varies per user, use the Ratio Metrics calculator instead.

Como usar esta calculadora

Para o método do t-test, insira o tamanho da amostra, a média e o desvio padrão para cada grupo. Para Mann-Whitney U, cole seus valores de dados brutos. Para dados de receita, a média é o valor médio do pedido ou receita por visitante, e o desvio padrão mede o quanto os valores individuais variam. A maioria das plataformas de analytics reporta esses valores. O teste t de Welch não assume variâncias iguais entre os grupos, sendo robusto para dados do mundo real.

Teste t de Welch e Mann-Whitney U

Diferente de testes de taxa de conversão (que usam o teste z para proporções), métricas contínuas como receita por visitante, AOV e duração da sessão requerem a comparação de médias. O teste t de Welch calcula a estatística t como a diferença das médias dividida pelo erro padrão da diferença, usando a equação de Welch-Satterthwaite para os graus de liberdade. O teste de Mann-Whitney U é uma alternativa não paramétrica que não assume normalidade e trabalha com dados ordenados, sendo mais robusto para distribuições fortemente assimétricas.

Quando usar esta calculadora

Use esta calculadora quando sua métrica de interesse é um valor contínuo em vez de uma conversao binaria. Exemplos comuns incluem receita por visitante, valor medio do pedido, duracao da sessao, paginas por sessao, tempo na pagina e pontuacoes de satisfacao do cliente. Este e o teste correto para qualquer metrica onde cada usuario contribui um valor numerico em vez de apenas um resultado sim/nao.

Erros comuns com testes de métricas contínuas

Dados de receita e outros dados contínuos tipicamente possuem assimetria à direita com algumas observações de valor muito alto. Isso torna o desvio padrão crítico — um desvio padrão grande requer amostras muito maiores para atingir significância. Erros comuns incluem usar um teste z para proporções em dados contínuos (teste errado), ignorar o impacto de outliers, não considerar a alta variância inerente a métricas de receita e comparar totais em vez de métricas por visitante.