A/B-Testing für Websites mit wenig Traffic

Können Sie mit 500 Besuchern pro Tag A/B-Tests durchführen? Ja — aber Sie müssen Ihren Ansatz anpassen. Standardmethoden, die für Websites mit viel Traffic funktionieren, verschwenden ohne Anpassungen Ihre Zeit.

Die Realität des Testens mit wenig Traffic

Die Mathematik ist unerbittlich: Einen relativen Anstieg von 5 % bei einer Conversion-Rate von 3 % zu erkennen erfordert etwa 85.000 Besucher pro Variante. Bei 250 Besuchern pro Tag und Variante sind das 340 Tage — fast ein Jahr.

Das bedeutet nicht, dass A/B-Testing mit wenig Traffic unmöglich ist. Es bedeutet, dass Sie strategisch vorgehen müssen, was und wie Sie testen.

Strategien, die funktionieren

Größere Änderungen testen — Subtile Anpassungen (Button-Farbe, Textänderungen) erzeugen kleine Effekte, die riesige Stichproben zur Erkennung benötigen. Testen Sie stattdessen grundlegend verschiedene Ansätze: komplett neue Seitenlayouts, andere Wertversprechen, andere Preisstrukturen. Größere Effekte benötigen weniger Besucher zur Erkennung.
Auf Seiten mit viel Traffic konzentrieren — Konzentrieren Sie Tests auf Ihre Seiten mit dem meisten Traffic. Ein Test auf der Startseite mit 80 % des Traffics wird viel schneller abgeschlossen als einer auf einer Einstellungsseite mit 2 %.
Weniger Varianten verwenden — Jede Variante teilt Ihren Traffic. Bei 500 Besuchern/Tag gibt ein A/B-Test (2 Varianten) 250 pro Variante. Ein A/B/C/D-Test gibt nur 125 pro Variante — was die Erkennung noch schwieriger macht.
Einen größeren MDE akzeptieren — Statt einen relativen Anstieg von 5 % erkennen zu wollen, setzen Sie Ihren MDE auf 15–20 %. Sie werden kleine Verbesserungen verpassen, aber die großen Erfolge erkennen — die ohnehin am meisten zählen. Verwenden Sie den Stichprobengrößenrechner, um zu sehen, wie sich das auf den benötigten Traffic auswirkt.
Längere Tests durchführen — Bei 250 täglichen Besuchern pro Variante benötigt ein Test für einen relativen MDE von 20 % bei einer Basisrate von 5 % etwa 2.500 Besucher — 10 Tage. Das ist absolut machbar. Planen Sie Tests über 2–4 Wochen statt 3-Tage-Sprints.

Statistische Methoden für kleine Stichproben

Bayesianische Analyse — Der Bayesianische Rechner funktioniert gut mit kleineren Stichproben, weil er eine Wahrscheinlichkeit liefert statt einer binären signifikant/nicht-signifikant-Antwort. „72 % Wahrscheinlichkeit, dass B besser ist" ist immer noch nützliche Information, auch wenn ein frequentistischer Test „nicht signifikant" sagen würde.
Sequenzielles Testen — Der Sequenzielle Rechner ermöglicht es Ihnen, Ergebnisse kontinuierlich zu überwachen und frühzeitig zu stoppen, wenn es einen klaren Gewinner gibt. Das kann Wochen an Testzeit sparen, wenn der Effekt groß ist.
Exakter Fisher-Test — Für Conversion-Rate-Tests mit sehr kleinen Stichproben (unter 100 pro Gruppe) ist der exakte Fisher-Test zuverlässiger als der Standard-z-Test. Der Konversionen-Rechner bietet diese Option.

Was Sie nicht tun sollten

Senken Sie nicht Ihren Signifikanzschwellenwert — α = 0,20 statt 0,05 zu verwenden, um mehr signifikante Ergebnisse zu erhalten, bedeutet nur, dass Sie mehr falsch positive Ergebnisse ausrollen. Sie werden Änderungen vornehmen, die keinen echten Effekt haben — oder die Dinge verschlechtern.
Ignorieren Sie nicht die Anforderungen an die Stichprobengröße — Einen Test über 3 Tage mit 200 Besuchern durchzuführen und einen Gewinner zu erklären ist schlimmer, als gar nicht zu testen — es erzeugt falsches Vertrauen in ein zufälliges Ergebnis.
Kombinieren Sie keinen nicht vergleichbaren Traffic — Traffic von sehr unterschiedlichen Seiten oder Nutzersegmenten zusammenzufassen, um die Stichprobengröße schneller zu erreichen, führt zu Störfaktoren, die den Test ungültig machen.

Ein praktisches Framework für kleine Websites

Wählen Sie Ihre Seite mit dem meisten Traffic
Testen Sie eine bedeutsame Änderung (keine Kleinigkeit)
Setzen Sie den MDE auf 15–20 % relativ
Verwenden Sie den Dauerrechner, um die Testdauer zu schätzen
Lassen Sie den Test mindestens 2 volle Wochen laufen
Analysieren Sie mit dem Bayesianischen Rechner für die nützlichste Interpretation

Wenig Traffic bedeutet nicht, dass Sie nicht experimentieren können. Es bedeutet, dass jedes Experiment zählen sollte — testen Sie mutige Ideen, akzeptieren Sie größere MDE-Schwellenwerte und konzentrieren Sie sich auf den Lerneffekt.