A/B-Testing

Auch: A/B-Test, Split-Test, A/B/n-Test, Multivariates Testing, Conversion-Testing

Der methodisch saubere Vergleich zweier oder mehrerer Varianten einer Seite, Anzeige oder E-Mail: Besucher werden zufällig auf die Varianten verteilt, und die bessere Conversion-Rate entscheidet — Meinung wird durch Messung ersetzt.

Kategorie: Conversion & Experimentation Autor: Pereta

Kern-Logik

Statt zu diskutieren, welche Überschrift, welche Knopf-Farbe oder welcher Aufruf besser wirkt, wird es empirisch getestet. Die Grundlage ist die statistische Versuchsplanung — das randomisierte, kontrollierte Experiment. Der Aufbau:

Hypothese formulieren (etwa: „Eine konkretere Überschrift erhöht die Conversion-Rate um mindestens 20 Prozent").
Variante A (Original) und Variante B (Veränderung) parallel laufen lassen.
Besucher zufällig auf beide Varianten verteilen.
Laufen lassen, bis statistische Signifikanz erreicht ist — üblich sind 95 oder 99 Prozent Konfidenz.
Gewinner ausrollen oder Hypothese verwerfen.

Damit Tests belastbar bleiben, braucht es einen sauberen operativen Prozess:

Ideen-Backlog aus den Zahlen. Testideen entstehen aus der Analyse (wo springen Besucher ab?), nicht aus dem Bauch.
Priorisierung nach Wirkung, Wichtigkeit, Aufwand. Nicht jeder Test lohnt sich zuerst — die mit hohem Hebel und geringem Aufwand kommen nach vorne.
Je Test nur eine Veränderung. Wer Überschrift und Knopf und Bild gleichzeitig ändert, weiß im Gewinnerfall nicht, was gewirkt hat.
Hypothesen im Format „WENN …, DANN …, WEIL …". Das macht Wirkung und Begründung prüfbar — ein Test ohne begründete Erwartung erzeugt nur Zufallsrauschen.

Die klassischen Stolperfallen: zu früh stoppen (bei noch nicht signifikanten Daten entstehen Falsch-Positive — die Stichprobengröße gehört vorher berechnet) und das Verwechseln von Segment- und Gesamteffekt (getrennt gewinnt B, insgesamt A, weil die Segmente ungleich besetzt sind).

Ökonomisch ist A/B-Testing der Ehrlichkeitskompass des Marketings: Ohne ihn entscheidet die Meinung der ranghöchsten Person, mit ihm entscheidet die Zahl.

Typische Test-Kandidaten

Element	Hebel	Typischer Gewinn
Überschrift	Resonanz in den ersten Sekunden	10–30 % Conversion
Hauptbild	emotionale Kopplung	5–20 %
Knopf-Text	Klarheit des Aufrufs	5–15 %
weniger Formularfelder	weniger Reibung	10–40 %
Preis-Darstellung	Ankereffekt der Wahrnehmung	5–25 %
Vertrauensbeweis über/unter der Falz	Timing des Vertrauens	5–15 %

Konkrete Anwendungen

KMU mit wenig Traffic (Pereta-ICP): Unter etwa 5.000 Besuchern pro Monat ist klassisches A/B-Testing oft nicht signifikant — dann helfen bewusst gestaffelte Launches (Variante A vier Wochen, dann Variante B vier Wochen): nicht statistisch sauber, aber aussagekräftiger als Bauchgefühl.
Pereta-Landing-Pages: Seiten werden strukturell testfähig gebaut — Überschrift und Hauptbild als Komponenten, nicht fest verdrahtet, sodass Tests ohne Entwicklungszyklus möglich sind.
Ab genug Traffic: Echtes A/B-Testing mit den Zahlen aus der Analyse als Ideenquelle, priorisiert nach Hebel.

Wann einsetzen?

Bei ausreichend Traffic — sonst fehlt die Stichprobe für Signifikanz.
Bei jeder Conversion-kritischen Seite — Überschrift, Formular, Preis, Aufruf.
Wenn Meinungen kollidieren — der Test beendet die Diskussion mit einer Zahl.

Häufige Fehler

Zu früh auswerten. Ohne vorab berechnete Stichprobengröße entstehen Scheinsieger.
Mehrere Dinge gleichzeitig ändern. Dann ist der Gewinner nicht erklärbar.
Ohne begründete Hypothese testen. „Mal schauen" liefert Rauschen statt Erkenntnis.