What is the difference between Bayesian and frequentist A/B testing?

Frequentist tests produce p-values. Bayesian tests give direct probability that one variant is better.

What is expected loss in Bayesian A/B testing?

Expected loss is the average conversion rate you would lose by choosing the wrong variant.

What are credible intervals?

A 95% credible interval means there is a 95% probability the true value falls within that range.

Байєсівський калькулятор A/B тесту

Яка ймовірність того, що варіант B кращий за A?

Аналізуйте A/B тест байєсівською статистикою. Отримайте ймовірність перемоги, очікувані втрати та довірчі інтервали.

Як користуватися калькулятором

Введіть відвідувачів і конверсії. Калькулятор використовує бета-біноміальну модель з неінформативними апріорі (Beta(1,1)) та 50 000 симуляцій Монте-Карло.

Байєсівське vs частотне тестування

На відміну від частотних методів, байєсівський аналіз дає пряму ймовірність перемоги варіанту. Апостеріорний розподіл моделюється бета-розподілом.

Коли використовувати байєсівський аналіз

Коли потрібні інтуїтивні ймовірнісні твердження, рішення на основі очікуваних втрат, або при малих вибірках.

Поширені помилки байєсівського тестування

Занадто інформативні апріорі спотворюють результати. Не плутайте ймовірність перемоги з величиною покращення.