A/B-Test

Ein A/B-Test mit 95 Prozent Signifikanz meldet in einem von zwanzig Fällen einen Unterschied, obwohl keiner besteht – das ist die zugelassene Fehlalarmquote, so beschrieben im Praxisleitfaden von Kohavi u. a. (Microsoft, KDD 2007). Der Wert sagt nicht, dass die Gewinnervariante mit 95 Prozent Wahrscheinlichkeit besser ist. Wer fünf Tests gleichzeitig laufen lässt, hat 23 Prozent Chance auf mindestens einen Fehlalarm: 1 minus 0,95 hoch 5 ergibt 0,226.

Ein A/A-Test deckt eine fehlerhafte Messung auf: Beide Gruppen erhalten dieselbe Fassung, und bei 95 Prozent Signifikanz darf das Werkzeug dann nur in etwa fünf Prozent der Läufe einen Unterschied melden. Meldet es häufiger einen Sieger, verteilt die Zuweisung die Besucher schief oder die Auswertung zählt doppelt. Kohavi u. a. (Microsoft, KDD 2007) nennen genau diesen Zweck. Der Lauf gehört vor den ersten echten A/B-Test, nicht danach.

Die Google-Dokumentation zu Website-Tests nennt drei Regeln. Jede Variantenadresse verweist mit einem Canonical-Attribut auf die Originaladresse – nicht mit noindex. Weiterleitungen laufen als 302, nicht als 301, weil 301 die Verschiebung als dauerhaft meldet. Und Googlebot sieht dieselben Adressen wie Besucher; getrennte Auslieferung gilt als Cloaking und verstößt gegen die Spam-Richtlinien. Eine Höchstlaufzeit nennt Google nicht, verlangt aber, alle Testbestandteile nach dem Ende zu entfernen.

Ein A/B-Test braucht die Einwilligung, sobald er die Variantenzuweisung auf dem Endgerät ablegt – als Cookie oder im Speicher des Browsers. § 25 Abs. 1 TDDDG erlaubt Speichern und Auslesen nur mit Einwilligung; die Ausnahme in Absatz 2 Nummer 2 gilt allein für Zugriffe, die für einen ausdrücklich gewünschten Dienst unbedingt erforderlich sind. Optimierung ist das Interesse des Betreibers, nicht der gewünschte Dienst. Die Stichprobenplanung rechnet damit nur mit dem einwilligenden Teil der Besucher.

Ein gewonnener A/B-Test belegt einen Umsatzeffekt nur, wenn der Umsatz selbst gemessen wurde – und das verlangt deutlich mehr Datenverkehr. Kohavi u. a. (Microsoft, KDD 2007) rechnen bei 5 Prozent Kaufquote, 95 Prozent Signifikanz und 90 Prozent Teststärke: 5 Prozent Umsatzunterschied nachzuweisen braucht über 1,6 Millionen Besucher, 5 Prozent Unterschied in der Kaufquote unter 500.000, weil Umsätze stärker streuen. Eine gestiegene Abschlussquote ist deshalb kein Umsatzbeleg.