What sample size do I need for an A/B test?

It depends on your baseline conversion rate and the minimum effect size you want to detect.

What is minimum detectable effect (MDE)?

MDE is the smallest improvement you want your test to be able to detect.

What statistical power should I use?

80% power is the standard minimum, meaning an 80% chance of detecting a real effect.

Stichprobengrößenrechner für A/B-Tests

Question: How many visitors do I need for my A/B test?

Planen Sie Ihren A/B-Test, indem Sie die erforderliche Stichprobengröße berechnen. Geben Sie Ihre Basis-Conversion-Rate, den minimalen erkennbaren Effekt und die gewünschte Teststärke ein, um herauszufinden, wie viele Besucher Sie pro Variante benötigen.

So verwenden Sie diesen Rechner

Geben Sie Ihre Basis-Conversion-Rate (Ihre aktuelle Conversion-Rate vor dem Test), den minimalen erkennbaren Effekt (die kleinste Verbesserung, die Sie erkennen möchten), das gewünschte Konfidenzniveau und die statistische Teststärke ein. Der Rechner zeigt sofort an, wie viele Besucher Sie pro Variante benötigen. Passen Sie den MDE-Regler an, um zu sehen, wie kleinere Effekte exponentiell mehr Traffic erfordern.

Die Formel verstehen

Die Stichprobengröße wird mittels Power-Analyse für einen Zwei-Proportionen-z-Test berechnet. Die Formel berücksichtigt vier zentrale Parameter: Ihre Basis-Conversion-Rate, die minimale erkennbare Effektgröße, das Signifikanzniveau (Alpha) und die gewünschte statistische Teststärke (1 - Beta). Der Zusammenhang zwischen Stichprobengröße und MDE ist nicht linear — eine Halbierung der zu erkennenden Effektgröße vervierfacht in etwa die erforderliche Stichprobengröße.

Wann Sie diesen Rechner verwenden sollten

Verwenden Sie diesen Rechner vor dem Start eines A/B-Tests, um zu bestimmen, wie viele Besucher Sie benötigen. Einen Test ohne sorgfältige Stichprobenplanung durchzuführen ist einer der häufigsten Fehler im Bereich Experimentation. Ein unterpowerter Test erkennt eine tatsächliche Verbesserung möglicherweise nicht und verschwendet Zeit und Ressourcen. Ein überpowerter Test verschwendet Traffic, der für andere Experimente genutzt werden könnte.

Häufige Fehler bei der Stichprobenplanung

Einen zu kleinen MDE zu wählen führt zu unpraktikabel großen Stichproben. Seien Sie realistisch in Bezug auf die Effektgröße, die für Ihr Unternehmen relevant ist. Die Anzahl der Varianten nicht zu berücksichtigen (jede zusätzliche Variante benötigt die gleiche Stichprobengröße) ist ein weiterer häufiger Fehler. Beachten Sie außerdem, dass die Stichprobengröße pro Variante gilt, nicht insgesamt — wenn Sie 10.000 pro Variante bei zwei Varianten benötigen, sind das 20.000 Besucher insgesamt.