Der Begriff A/B-Test bezeichnet eine an wissenschaftliche Experimentdesigns angelehnte Analysemethode. Hierbei geht es für gewöhnlich um die Evaluation alternativer Features eines Produkts. Bei einem A/B-Test wird das Produkt in seinen verschiedenen Varianten Testteilnehmern vorgelegt. Hierbei kann es sich um lediglich zwei Varianten (A und B) oder um mehr Varianten (multivariater Test) handeln. Die Variation der bei den Teilnehmern erhobenen Daten kann dann auf die Variation der Produktfeatures zurückgeführt werden.
Von der Fragestellung zum Experiment
Wie bei wissenschaftlichen Experimenten ist das Wichtigste bei einem A/B-Test die Vorarbeit. Hier interessieren vor allem zwei Dinge: Fragestellung und Stichprobe. Im Online-Marketing könnte zum Beispiel interessieren, welche Versionen einer Landing Page zu den meisten Konversionen führt. Oder aber es interessiert, ob bestimmte Formulierungen in Texten (etwa der Call To Action) zu bestimmten Aktionen seitens des Users führen. Um dies herauszufinden, müssen die verschiedenen Versionen des Angebots, vergleichbar mit Stimuli in einem Experiment, mit Hinblick auf größtmögliche Vergleichbarkeit gestaltet werden.Nicht immer sind Tests mit tatsächlich eingeladenen Probanden nötig. Bei einem Online-Shop etwa können verschiedene Varianten während des laufenden Betriebs live getestet werden. Um zu vermeiden, dass dieselben User immer wieder getestet werden, sollten alle Varianten des Produkts gleichzeitig getestet werden. In diesem sogenannten Split Design wird die Stichprobe so wenig wie möglich verunreinigt.