A/B-Testing
Auch: A/B-Test, Split-Test, A/B/n-Test, Multivariates Testing, Conversion-Testing
Einordnung: Dieses Kapitel beschreibt ein quellengebundenes Modell oder eine Praxisheuristik. Es verspricht kein bestimmtes Ergebnis; die folgenden Aussagen geben das Modell wieder.
Kern-Logik
A/B-Testing vergleicht im Quellenmodell mehrere Varianten, indem Besucher zufällig verteilt und die beobachteten Zielereignisse der Varianten gegenübergestellt werden.
Im Quellenmodell gelten folgende Punkte:
- Variante A — dient als Kontrollfassung; die Vergleichsfassung prüft eine begründete Alternative.
- Besucher zufällig — zeitgleich zuordnen und die Zuordnung bei wiederkehrenden Besuchen möglichst stabil halten.
- Gewinner ausrollen — erst nach gültiger Auswertung und Prüfung nachgelagerter Qualität; auch ein unentschiedenes Ergebnis ist möglich.
Im Quellenmodell gelten folgende Punkte:
- Ideen-Backlog aus den Zahlen. Beobachtete Probleme werden zu prüfbaren Vermutungen über Ursache und Verbesserung.
- Priorisierung nach Wirkung, Wichtigkeit, Aufwand. Zusätzlich zählt, ob der vorhandene Datenumfang die vermutete Veränderung erkennbar machen kann.
- Je Test nur eine Veränderung. Das erleichtert die Zuordnung des Effekts. Ein Vergleich ganzer Gestaltungspakete ist möglich, beantwortet aber nur, welches Gesamtpaket besser abschneidet.
Im Quellenmodell wird beschrieben: Die klassischen Stolperfallen: zu früh stoppen (bei noch nicht signifikanten Daten entstehen Falsch-Positive — die Stichprobengröße gehört vorher berechnet) und das Verwechseln von Segment- und Gesamteffekt (getrennt gewinnt B, insgesamt A, weil die Segmente ungleich besetzt sind).
Die zufällige Zuteilung soll Unterschiede zwischen Besuchergruppen im Mittel ausgleichen. Unbeabsichtigte Unterschiede in Ausspielung oder Messung können den Vergleich trotzdem verfälschen. Vor Beginn werden Hypothese, Hauptzielgröße, kleinster praktisch relevanter Effekt, Testverfahren, Stichprobenbedarf und Auswertungsregel festgelegt. Grundlage sind auch die bisherige Ereignisrate und die gewünschte Teststärke, also die Chance, einen tatsächlich vorhandenen relevanten Effekt zu erkennen.
Vorzeitiges Stoppen ist insbesondere dann problematisch, wenn wiederholt nach einem günstigen Zwischenstand gesucht wird. Auch vorläufige Signifikanz rechtfertigt bei einer fest geplanten Stichprobe keinen spontanen Abbruch; dafür braucht es ein geeignetes sequenzielles Verfahren. Statistische Signifikanz beschreibt zudem keine wirtschaftliche Bedeutung. Effektgröße und Unsicherheitsbereich gehören zur Entscheidung.
Wann einsetzen?
Im Quellenmodell gelten folgende Punkte:
- Bei ausreichend Traffic — entscheidend sind genügend relevante Zielereignisse innerhalb eines noch vergleichbaren Geschäftsumfelds.
- Wenn Meinungen kollidieren — sofern die Streitfrage durch beobachtbares Verhalten prüfbar ist.
Bei wenigen Anfragen oder instabiler Messung liefern qualitative Nutzungsbeobachtungen häufig zuerst die nötigen Hinweise. Ein zeitlicher Vorher-nachher-Vergleich ohne zufällige Zuteilung kann durch Saison, Kampagnen oder veränderte Zielgruppen beeinflusst sein.
Beispiel
Ein fiktiver Fachbetrieb prüft, ob eine verständlichere Erklärung am Anfrageformular dessen Nutzung erleichtert. Besucher erhalten zeitgleich eine Fassung. Gemessen werden gültige Anfragen im Verhältnis zu den zugeteilten Besuchern; zusätzlich wird geprüft, ob die Anfragen zum Angebot passen. Mehr unbrauchbare Anfragen wären kein überzeugender Vorteil.
Häufige Fehler
Im Quellenmodell gelten folgende Punkte:
- Zu früh auswerten. Gegenmittel: Vorab festgelegte Auswertungsregeln einhalten und ein unklares Ergebnis zulassen.
- Mehrere Dinge gleichzeitig ändern. Gegenmittel: Eine erklärbare Hypothese isolieren oder ausdrücklich einen Paketvergleich planen.
- Nachträglich nur gewinnende Kennzahlen oder Segmente berichten: Hauptziel vorab bestimmen und zusätzliche Vergleiche angemessen berücksichtigen.
- Fehlerhafte Verteilung übersehen: Tatsächliche Gruppenzuteilung und Ereigniserfassung vor der Ergebnisdeutung prüfen.
Abgrenzung
A/B/n erweitert den Variantenvergleich. Multivariates Testing untersucht Kombinationen mehrerer veränderter Faktoren und mögliche Wechselwirkungen; es ist kein bloßes Synonym für A/B-Testing.
Verwandte Einträge
Im Quellenmodell gelten folgende Punkte: