How long should you run an A/B test?

It depends on your traffic and effect size. Most tests need 1-4 weeks. Always run at least one full week.

Can I stop my test early if I see significant results?

Stopping early inflates false positive rates. Use sequential testing for valid early stopping.

Should I run my test for full weeks?

Yes, always round up to complete weeks to capture weekday and weekend traffic patterns.

A/B-Test-Dauerrechner

Question: How long should I run my A/B test?

Finden Sie heraus, wie lange Ihr A/B-Test laufen muss, um statistische Signifikanz zu erreichen. Geben Sie Ihren täglichen Traffic und die Testparameter ein, um eine genaue Schätzung zu erhalten.

So verwenden Sie diesen Rechner

Geben Sie Ihre durchschnittlichen täglichen Besucher, den Prozentsatz des Traffics, der dem Test zugewiesen wird, Ihre aktuelle Basis-Conversion-Rate und den minimalen erkennbaren Effekt ein. Der Rechner berechnet die erforderliche Stichprobengröße und teilt sie durch Ihren verfügbaren täglichen Traffic, um die Anzahl der benötigten Tage zu ermitteln. Passen Sie den Traffic-Anteil an, um zu sehen, wie sich mehr oder weniger zugewiesener Traffic auf die Dauer auswirkt.

So wird die Dauer berechnet

Die Dauerberechnung kombiniert Stichprobengrößenanalyse mit Traffic-Planung. Zunächst wird die erforderliche Stichprobengröße pro Variante mittels Power-Analyse berechnet. Anschließend wird die Gesamtstichprobe durch den effektiven täglichen Traffic (tägliche Besucher multipliziert mit dem Traffic-Anteil, geteilt durch die Anzahl der Varianten) dividiert. Das ergibt die Mindestanzahl an benötigten Tagen. Als Best Practice sollte der Test immer mindestens eine vollständige Geschäftswoche laufen, um Wochentagseffekte zu erfassen.

Wann Sie diesen Rechner verwenden sollten

Verwenden Sie diesen Rechner in der Planungsphase, um festzustellen, ob ein Test mit Ihrem Traffic-Niveau realisierbar ist. Wenn die geschätzte Dauer 4-6 Wochen überschreitet, sollten Sie den MDE erhöhen (nur größere Effekte erkennen), den Traffic-Anteil steigern oder eine Seite mit höherem Traffic für den Test wählen. Die Dauer im Voraus zu kennen verhindert den häufigen Fehler, Tests zu früh zu beenden.

Häufige Fehler bei der Testdauer

Der größte Fehler ist, einen Test vor Erreichen der erforderlichen Dauer zu beenden, weil frühe Ergebnisse vielversprechend (oder entmutigend) aussehen. Dies nennt man Peeking, und es erhöht die Falsch-Positiv-Rate. Weitere Fehler sind die fehlende Berücksichtigung von Werktag-/Wochenend-Traffic-Unterschieden, das Ignorieren saisonaler Effekte, die Ergebnisse verzerren können, und die mangelnde Planung ausreichend vollständiger Geschäftszyklen.