Der Begriff A/B-Test bezeichnet eine an wissenschaftliche Experimentdesigns angelehnte Analysemethode. Hierbei geht es für gewöhnlich um die Evaluation alternativer Features eines Produkts. Bei einem A/B-Test wird das Produkt in seinen verschiedenen Varianten Testteilnehmern vorgelegt. Hierbei kann es sich um lediglich zwei Varianten (A und B) oder um mehr Varianten (multivariater Test) handeln. Die Variation der bei den Teilnehmern erhobenen Daten kann dann auf die Variation der Produktfeatures zurückgeführt werden.

Von der Fragestellung zum Experiment

Wie bei wissenschaftlichen Experimenten ist das Wichtigste bei einem A/B-Test die Vorarbeit. Hier interessieren vor allem zwei Dinge: Fragestellung und Stichprobe. Im Online-Marketing könnte zum Beispiel interessieren, welche Versionen einer Landing Page zu den meisten Konversionen führt. Oder aber es interessiert, ob bestimmte Formulierungen in Texten (etwa der Call To Action) zu bestimmten Aktionen seitens des Users führen. Um dies herauszufinden, müssen die verschiedenen Versionen des Angebots, vergleichbar mit Stimuli in einem Experiment, mit Hinblick auf größtmögliche Vergleichbarkeit gestaltet werden.

Nicht immer sind Tests mit tatsächlich eingeladenen Probanden nötig. Bei einem Online-Shop etwa können verschiedene Varianten während des laufenden Betriebs live getestet werden. Um zu vermeiden, dass dieselben User immer wieder getestet werden, sollten alle Varianten des Produkts gleichzeitig getestet werden. In diesem sogenannten Split Design wird die Stichprobe so wenig wie möglich verunreinigt.

Statistische Verfahren

Ergebnisse aus A/B-Tests lassen sich mit klassischen statistischen Verfahren analysieren. Welches statistische Verfahren geeignet ist, hängt von der Art der Fragestellung und dem Aufbau des Tests ab. Einfache Regressionen und Varianzanalysen vergleichen den Einfluss verschiedener Produktvarianten auf Größen wie die Anzahl der Verkäufe. Um wirklich robuste Ergebnisse zu erhalten, können darüber hinaus die in wissenschaftlichen Experimenten üblichen Mixed Models (auch: Mehrebenenmodelle) eingesetzt werden. Diese rechnen die individuelle Variation eines Nutzers heraus und zeigen vereinfacht die allen Usern gemeinsame Variation. Zeitabhängige Daten können mit anspruchsvollen Modellen wie der Panelanalyse oder Survivalmodellen analysiert werden.

Weitere Informationen und Links

Kein Ersatz für eigene A/B-Tests, aber dafür eine sinnvolle Informationsressource und Inspiration ist die Seite behave.org. Dort werden A/B-Tests zu verschiedenen Themen vorgestellt.