A/B-Tests mit Aussagekraft

A/B-Tests gelten als objektive Methode. Sie sind es nur, wenn drei Bedingungen erfüllt sind: ausreichende Stichprobe, vorab festgelegte Laufzeit und eine einzige Änderung.

Warum die Stichprobe so groß sein muss

Abschlussquoten schwanken zufällig. Bei kleinen Zahlen ist der Zufall größer als der gemessene Unterschied.

Die Tabelle zeigt das eigentliche Problem: Kleine Verbesserungen sind für kleine Websites nicht nachweisbar. Ein Betrieb mit 800 Besuchern im Monat kann keinen Test durchführen, der eine Verbesserung um 10 Prozent belegt, weil dafür Jahre nötig wären.

Was kleine Betriebe stattdessen tun sollten

1. Große Unterschiede testen. Zwei völlig verschiedene Seitenkonzepte statt zweier Knopffarben.
2. Nacheinander statt gleichzeitig. Vier Wochen Fassung A, vier Wochen Fassung B, saisonale Effekte im Blick behalten.
3. Qualitativ prüfen. Fünf Menschen beim Ausfüllen zusehen findet mehr Probleme als jeder Test mit zu kleiner Stichprobe.
4. Auf Zwischenschritte messen. Wie viele scrollen bis zum Formular, wie viele beginnen es. Diese Zahlen sind größer und damit schneller aussagekräftig.

Die Regeln für einen sauberen Test

• Eine Änderung. Wer Überschrift, Bild und Knopf gleichzeitig tauscht, weiß hinterher nicht, was gewirkt hat.
• Laufzeit vorher festlegen, mindestens zwei volle Wochen, damit alle Wochentage vertreten sind.
• Nicht zwischendurch entscheiden. Frühes Abbrechen bei gutem Zwischenstand ist der häufigste Fehler und erzeugt zuverlässig Scheinergebnisse.
• Kein Test über Feiertage oder Aktionszeiträume.
• Ergebnis dokumentieren, auch wenn es negativ ist. Negative Ergebnisse sparen künftige Arbeit.

Was Sie testen sollten, in dieser Reihenfolge

1. Das Angebot selbst, also was angeboten wird und zu welchen Bedingungen.
2. Die Überschrift und das Hauptversprechen.
3. Die Art des nächsten Schritts, etwa Anruf gegen Formular.
4. Die Länge und Struktur der Seite.
5. Bilder.
6. Alles Weitere, also Farben, Schriftgrößen, Formulierungen von Knöpfen.

Die Reihenfolge ist nach erwarteter Wirkungsgröße sortiert. Die meisten Betriebe beginnen bei Punkt sechs.

Ergebnisse richtig lesen

Ein Testergebnis sagt: Unter den Bedingungen dieses Zeitraums, für diese Zielgruppe, war Variante B besser. Es sagt nicht, dass B immer besser ist.

Prüfen Sie deshalb nach der Umstellung, ob sich die Verbesserung im Alltag bestätigt. In der Praxis fällt ein erheblicher Teil der Testgewinne nach der dauerhaften Umstellung kleiner aus als im Test.