What is the multiple comparisons problem?

Testing many variants increases false positive risk. With 5 comparisons at 95% confidence, chance of at least one false positive is ~23%.

What is the difference between Bonferroni and Holm corrections?

Bonferroni divides significance level by the number of comparisons. Holm is strictly more powerful while still controlling error rate.

How many variants should I test at once?

Testing 3-5 variants is common. More variants means more traffic needed and longer test duration.

Calculadora de teste A/B/n multi-variante

Question: Which of my multiple variants performs best while controlling for multiple comparisons?

Compare tres ou mais variantes simultaneamente com a correcao adequada para comparacoes multiplas. Adicione ate 5 variantes e obtenha testes de significancia pareados.

Como usar esta calculadora

Insira visitantes e conversões para o controle e cada variante. Clique em Adicionar Variante para incluir ate 5 variantes. Selecione um metodo de correcao: Bonferroni (mais conservador, controla a taxa de erro por familia) ou Holm (menos conservador, mas ainda valido). A calculadora executa todas as comparacoes pareadas e mostra quais diferencas sao significativas apos a correcao.

Por que correções para comparações múltiplas importam

Quando voce testa multiplas variantes contra um controle, cada comparacao tem chance de produzir um falso positivo. Com 5 comparacoes pareadas a 95% de confianca, a probabilidade de pelo menos um falso positivo sobe para cerca de 23%. Correcoes para comparacoes multiplas ajustam o limite de significancia para manter a taxa global de falsos positivos em 5%. Bonferroni divide o alfa pelo numero de comparacoes (simples, mas conservador). O metodo step-down de Holm e menos conservador enquanto ainda controla a taxa de erro por familia.

Quando usar testes multi-variante

Use testes A/B/n quando voce tem multiplas ideias para testar simultaneamente e quer encontrar a melhor variante de forma eficiente. Isso e comum em experimentos de design (testar 3-4 layouts), testes de headline ou experimentos de precificacao. Porem, esteja ciente de que adicionar mais variantes aumenta o tamanho da amostra necessario. Se voce tem trafego suficiente apenas para duas variantes, execute um teste A/B simples.

Erros comuns em testes multi-variante

O maior erro e executar comparacoes multiplas sem nenhuma correcao, o que infla dramaticamente os falsos positivos. Outro erro e adicionar variantes demais e diluir o trafego excessivamente, levando a comparacoes com poder insuficiente. Evite tambem alterar variantes durante o teste ou remover variantes com desempenho inferior prematuramente — isso invalida a analise estatistica. Planeje suas variantes e tamanho de amostra antes de comecar.