Mittels der Durchführung von AB Tests können wichtige Rückschlüsse auf die Gestaltung der Website gezogen werden. Sofern die Ergebnisse richtig analysiert werden, kann die Optik der Website für die Besucher:innen bestmöglichst optimiert werden.
Was ist AB Testing?
AB Testing im Marketing – dahinter verbirgt sich ein datengetriebenes und gleichzeitig zufallsbasiertes Verfahren, um verschiedene Szenarien potenzieller Veränderungen im Live-System zu testen. Die Nutzer:innen werden zufallsbasiert einer der Testvarianten zugeordnet. Dabei sollen mögliche Verbesserungen im Online-Experiment erkannt werden.
Warum AB Tests?
Mit Hilfe von AB Tests können Vermutungen über eine bessere Performance durch Änderung X getestet und auf Basis von Daten bewertet werden, bevor sie final im Live-System umgesetzt werden. Das Ziel oder die KPIs, die im Rahmen des Tests analysiert werden sollen, sind frei wählbar. Da so die effizientere Variante identifiziert werden kann, wird dieses Verfahren häufig in der Conversion-Rate Optimierung eingesetzt. Es werden nicht nur quantitative Ergebnisse gesammelt, sondern auch qualitative Daten können ausgewertet werden. Gesammelt werden können zum Beispiel Daten über die Conversion-Rate, das Nutzerverhalten und Touch-Points auf der Seite.
Die Sammlung der Daten und das Testen verschiedener Varianten kann typische Probleme von Websites lösen oder ihnen zumindest entgegenwirken. Dazu zählt beispielsweise, dass Nutzer:innen auf der zu testenden Seite keine eindeutig formulierten Call-To-Actions vorfinden. Das kann zur Folge haben, dass die Nutzer:innen für ihr individuelles Problem als nicht gelöst betrachten. Im schlimmsten Fall verlassen die Nutzer:innen die Website ohne eine Conversion. Durch das Sammeln und Auswerten der Daten durch A/B Testing können solche Hürden in der Website-Nutzung identifiziert und Maßnahmen zur Optimierung abgeleitet werden.
Ein weiteres Ziel besteht darin, die sich bereits auf der Seite befindenden Nutzer:innen häufiger zu einer Conversion zu bewegen. Dies ist deutlich günstiger als weiteren Traffic mit neuen Nutzern auf die Seite zu bringen. Entsprechend kann sich bei einem erfolgreichem AB Test, der eine der erkannten Hürden behoben hat, die Conversion-Rate verbessern. Zudem kann sich eine bessere Usability und damit eine höhere Zufriedenheit der Nutzer positiv auf die Absprungrate auswirken, die eine direkte Kennzahl bei der Performancebewertung ist.
Digital Arrow
Melde Dich jetzt zu unserem Newsletter „Digital Arrow“ an, mit dem Du die brandheißen digitalen News zuerst erhältst!
Testtypen – Wie funktioniert ein AB Test?
Je nachdem welchen Teil einer Seite Du testen möchtest, gibt es verschiedene Typen dieser A/B Tests. Die A-Variante ist immer die “Kontroll Variante”, also die Variante die bei dem Test unberührt bleibt. Die B-Variante wird auch “Testvariante” genannt, da sie entsprechend die zu testende Veränderung beinhaltet.
Klassische AB Tests
Hier befinden sich beide Testszenarien auf derselben URL. Diese Variante wird häufig verwendet, wenn Front-End-Veränderungen getestet werden sollen. Das Ziel ist es die Auswirkung auf die Performance einzelner Elemente zu messen.
Split-Test (Weiterleitungs-Tests)
AB Test unterscheiden sich grundlegend von der Variante der Split-Tests, denn hier werden zwei verschiedene Website-URLs getestet – also example.de/a und example.de/b. Dabei werden grundlegende Dinge getestet wie z. B. eine Veränderung des gesamten Designs. Während des Split-Tests bekommt ein Teil des Website-Traffics die A Variante und ein anderer Teil die B Variante. Anschließend werden die Conversiondaten verglichen, um die Varianten zu bewerten.
Welche Vorteile haben Split-Tests?
- Du kannst neue Designs gegen das bestehende Seitendesign testen, ohne eine komplette Umstellung durchführen zu müssen
- Ist für Tests zu empfehlen, bei denen die Benutzeroberfläche nicht betroffen ist, sondern Änderungen wie z. B. Ladezeiten, Datenbankwechsel usw.
Multivariate Tests (MVT)
Bei Multivariaten Tests werden mehrere Veränderungen einer Seite gleichzeitig getestet, um die Kombination verschiedener Änderungen auf einer Seite gegeneinander zu beurteilen. Da dieses Verfahren deutlich komplexer in der Umsetzung und Bewertung ist, ist dies von uns als für die Fortgeschrittenen eingeschätzt. Hier können beispielsweise das Design, die Farbe des Textes oder auch verschiedene Banner getestet werden.
Was kann getestet werden?
Das Ziel besteht darin zu identifizieren, welche Version einer Seite bei den Nutzern besser ankommt. Bei den potentiellen Testszenarien und Arten von Seiten besteht kaum ein Limit, denn jede Seite hat ein messbares Ziel. Die gesamte Customer Journey des Kunden und insbesondere dem Teil der sich bereits auf Deiner Seite abspielt ist entscheidend für den Erfolg des Online-Auftritts.
Getestet werden können zum Beispiel:
- Betreffzeilen in E-Mails
- Design & Layout von Webseiten
- Navigationselemente
- CTAs
- Formulare
- Warenkorb-Steps
- Social Proof Elemente
- Überschriften
- Textinhalte
- Preise
- Ganze Websites vor Relaunch Umsetzung (Canary Relaunch)
- usw.
Wie kann man Ideen für Tests finden?
Bevor ein sinnvoller AB Test durchgeführt werden kann, müssen Daten erhoben und analysiert werden. Hier steht das Nutzerverhalten im Fokus in dem Probleme und Hürden erkannt werden müssen. Dies kann mit Hilfe von Analytics Daten, Heatmaps, User Tests, User Feedback, Session Recording usw. erkannt werden.
Auf Basis dessen kann eine Hypothese abgeleitet werden, die den folgenden Regeln unterliegt:
- Eine Hypothese sollte ein klar zu identifizierendes Problem beschreiben.
- Eine Hypothese muss eine potenzielle Lösung beinhalten
- Eine Hypothese muss das erwartete Ergebnis des AB Tests abbilden
Weitere Informationen zur Gestaltung der Hypothese folgen im Artikel.
Statistischer Hintergrund der Tests entscheidend
AB Test sind datengesteuert und lassen kein Bauchgefühl zu, welches Entscheidungen beeinflussen oder steuern kann. Es gibt am Ende immer einen klaren Gewinner auf Basis statistisch signifikanter Verbesserungen der gewählten Kennzahlen (Klickrate, Abbruchrate bei Warenkörben, Leads, Verweildauer usw.).
Wenn ein statistisches Ergebnis signifikant ist, wird angenommen dass der gemessene Zusammenhang zwischen den zwei Varianten in der Erhebung nicht einfach zufällig aufgetreten ist, sondern auf die Grundgesamtheit übertragen werden kann.
Die Signifikanz wird also herangezogen, um Unterschiede zwischen zwei Grundgesamtheiten zu bewerten. Kommen Unterschiede zwischen beiden Variablen vor, muss evaluiert werden, was der Grund für diese Unterschiede ist. Können sie auf die Einflussfaktoren (Veränderungen) zurückgeführt werden, spricht man von Signifikanz. Um die Veränderung auf die Gesamtheit beziehen zu können müssen statistische Signifikanztests durchgeführt werden (hier gibt es verschiedene).
Die Signifikanz wird also herangezogen, um Unterschiede zwischen zwei Grundgesamtheiten zu bewerten. Kommen Unterschiede zwischen beiden Variablen vor, muss evaluiert werden, was der Grund für diese Unterschiede ist. Können sie auf die Einflussfaktoren (Veränderungen) zurückgeführt werden, spricht man von Signifikanz. Um die Veränderung auf die Gesamtheit beziehen zu können müssen statistische Signifikanztests durchgeführt werden (hier gibt es verschiedene).
Relevante Faktoren sind die Irrtumswahrscheinlichkeit (p-Wert) und das Signifikanzniveau (α-Niveau). Dabei muss der p-Wert festgelegt werden. Die Obergrenze dessen gibt das α-Niveau an. Dies beschreibt die Wahrscheinlichkeit, zu der das Endergebnis falsch sein kann . Zeigt der Test eine geringere Fehlerwahrscheinlichkeit als die, die zuvor festgelegt wurde, spricht man von Signifikanz.
Wenn das α-Niveau bei 0,05 liegt, ist eine Fehlerwahrscheinlichkeit von 5% festgelegt. Ergibt der statistische Test also von α-Niveau von 0,05 (Signifikanz), ist der Test nur zu 5% falsch.
Häufig wird der Chi-Quadrat-Test nach Pearson im digitalen Marketing herangezogen.
Nach diesem Test wird ein Test als signifikant bezeichnet, wenn die Irrtumswahrscheinlichkeit (p-Wert) kleiner ist als der festgelegte Schwellenwert.
Nach diesem Test wird ein Test als signifikant bezeichnet, wenn die Irrtumswahrscheinlichkeit (p-Wert) kleiner ist als der festgelegte Schwellenwert.
Hierfür stehen online Rechner zur Verfügung, die die Signifikanz berechnen können.
SEO Agentur mso digital
Hast Du weitere Fragen oder benötigst Du Unterstützung bei der SEO-Optimierung Deiner Website? Dann melde Dich gerne bei uns!
Wie wird ein AB Test aufgesetzt und durchgeführt?
Grundlegend sollte bei der Durchführung von AB Tests darauf geachtet werden, dass zunächst einzelne Änderungen vorgenommen und getestet werden, um die bestehende Conversion Rate nicht negativ zu beeinflussen. Zudem können so positive Veränderungen auf konkrete Tests zurückgeführt werden.
Zudem bedarf ein erfolgreicher AB Test einer umfangreichen Vorbereitung, Zeitkapazität und Kapazität zur Umsetzung nach erfolgreichem Test. Zudem ist ein umfangreiches Know How im Projektteam nötig. Weiterhin können zusätzliche Tool-Kosten hinzu kommen. Der Standardablauf einem kompletten AB Test sieht folgendermaßen aus:
Zudem bedarf ein erfolgreicher AB Test einer umfangreichen Vorbereitung, Zeitkapazität und Kapazität zur Umsetzung nach erfolgreichem Test. Zudem ist ein umfangreiches Know How im Projektteam nötig. Weiterhin können zusätzliche Tool-Kosten hinzu kommen. Der Standardablauf einem kompletten AB Test sieht folgendermaßen aus:
1. Stelle ein Team zusammen
Das zusammengestellte Team sollte aus erfahrenen Mitgliedern bestehen, die bereits mit der Conversion Optimierung vertraut sind. Weiterhin sollte die Datenanalyse, die Identifikation von Conversion Problemen und das Einfühlungsvermögen in die potentiellen Nutzer der Seite als Kompetenzen im Projektteam vorhanden sein. Wichtig ist außerdem einen Projektleiter zu ernennen, der die Roadmap und den Zeitplan im Auge behält sowie die Aufgaben und Projektstände im Blick behält.
2. Conversion Probleme identifizieren
Wichtig ist es, gezielt zu testen und nicht wahllos aus dem Bauch heraus zu entscheiden. Daher sollte zunächst analysiert werden, was optimiert werden kann und sollte. Hierzu können verschiedene Tools herangezogen werden, um die Daten zu sammeln, wie zum Beispiel Google Analytics. So können die besuchten Seiten, die Verweildauer und auch die Absprungrate betrachtet werden. Hilfreich können Heatmap-Tools wie Hotjar oder Clarity nützlich sein, um das Scroll und Nutzerverhalten zu beleuchten.
Tipp: Falls Du Hilfe beim Conversion-Tracking benötigst, wende Dich an unsere Google Tag-Management Beratung.
3. Hypothesen formulieren & priorisieren
Nachdem zuvor eine umfangreiche Analyse der Customer Journey durchgeführt wurde und Schwachstellen erkannt wurden, gilt es passende Test-Hypothesen aufzustellen. Diese müssen datengestützt sein.
Die erstellte Hypothese sollte zudem SMART sein, wodurch die wichtigsten Testkriterien bereits abgebildet sind. Die Hypothese sollte einen klaren Schwerpunkt setzen.
Als Hilfe kann folgender Satz genutzt werden: “Wenn X verändert wird, dann passiert X, aus dem Grund Y (weil).
Eine beispielhafte Hypothese könnte lauten:
- Wenn das Kontaktformular above the fold platziert wird, dann steigern wir die Anzahl der Kontaktaufnahmen, weil es leichter zu finden ist.
- Wenn wir die CTAs grün statt grau einfärben, dann werden diese häufiger geklickt, da die Farbe Grün freundlicher ist und damit sichtbarer ist.
Stehen die Hypothesen fest, sollten diese priorisiert werden, denn es können nicht mehrere Tests gleichzeitig durchgeführt werden. Ist dem so, können die Ergebnisse häufig nicht eindeutig einer Veränderung zugeordnet werden.
Es gibt verschiedene Ansätze, wie man eine Priorisierung vornehmen kann:
- Wie groß ist der Nutzen? – Welche Ergebnisse werden erwartet? Gehen wir davon aus, dass eine Steigerung der Conversion Rate wahrscheinlich ist? Diese Fragen sind hier zentral und müssen für diese Lösung beantwortet werden
- Welche Seiten haben viel Traffic? – Seiten mit viel Traffic können einen schnelleren und klareren Nutzen hervorbringen. Wenn generell wenig Traffic vorhanden ist, sollten die Tests unbedingt nacheinander durchgeführt werden!
- Welche Ressourcen sind erforderlich? – Was soll getestet werden? Je nachdem, welche Veränderung vorgenommen werden soll, können mehr oder weniger Ressourcen benötigt werden (graphische Änderung vs. technische Änderung)
Zudem muss immer eine Nullhypothese aufgestellt werden, die dem Gedanken folgt, dass keine signifikanten Ergebnisse erwartet werden können. Diese Hypothesen werden als Vergleichs-Hypothesen verwendet.
Wenn ein Ansatz gewählt wurde und die Hypothesen priorisiert wurden, sollte eine übersichtliche Roadmap erstellt werden, die die definierten Ziele & Ergebnisse festhält.
4. Tests durchführen
Endlich ist es soweit: die Tests können starten! Hier hängt die Durchführung stark vom gewählten Test-Tool ab. Daher ist eine eindeutige Aussage wie die Tests durchgeführt werden an dieser Stelle nicht möglich. In manchen Fällen benötigst Du technisches Wissen für die Umsetzung, bei anderen Tools wiederum nicht. Hier solltest Du Dich genau informieren, bevor Du ein Tools wählst.
Sind diese Fragen geklärt und der Test läuft, sollte die vorgegebene Zeit gewartet werden, bis statistisch signifikante Ergebnisse vorliegen. Die nötige Zeit sollte daher unter Berücksichtigung des täglichen und/oder monatlichen Traffics, der Anzahl der Varianten, der erwarteten Verbesserung und der bestehenden Conversion Rate bestimmt werden.
5. AB Test Auswertung & Dokumentation
Nachdem der Test durchgeführt wurde und ausreichend Daten vorhanden sind, wird der Chi-Quadrat Test angewendet.
Die durchgeführten Tests sollten immer sauber dokumentiert werden. So kann vermieden werden dass Tests mehrmals durchgeführt werden und so wertvolle Ressourcen gebunden werden. Folgende Inhalte sollten mindestens dokumentiert werden:
- Testname
- Testzeitraum
- Hypothese
- Genutzte Variante
- Ergebnisse und Schlussfolgerungen
- Potenziale für finanzielle Gewinne pro Jahr
Um das Testergebnis zu bewerten kannst Du die Tools heranziehen, die häufig schon eine Art Reporting anbieten und Dir deutlich aufzeigen, ob die gewählten KPIs sich im Test verbessert haben. Hierfür musst Du Deine zu Beginn definierten Ziele wieder heranziehen. Trage die Ergebnisse in die zu Beginn erstellte Roadmap ein.
6. Theorie auf der Seite anwenden
Wenn der Test erfolgreich war und auf die Grundgesamtheit angewendet werden kann, sollten die Ergebnisse in die Praxis umgesetzt werden. Ist der Test nicht signifikant, kann ein weiterer Test mit einer größeren Stichprobe hilfreich sein.
7. Weiter geht's mit dem Testen
Nach einem erfolgreichen oder erst recht nach einem Test mit wenig hilfreichen Erkenntnissen und der Umsetzung solltest Du nicht aufhören. AB Testing ist ein Kreislauf in dem Du bestehende Hypothesen überarbeitest und neue Ansätze testest oder im Anschluss eine andere Hypothese mit einem neuen Schwerpunkt angehst.
Digital Arrow
Melde Dich jetzt zu unserem Newsletter „Digital Arrow“ an, mit dem Du die brandheißen digitalen News zuerst erhältst!
Tools für AB Tests
Wie auch in anderen Anwendungsbereichen gibt es für AB Tests eine Vielzahl an unterschiedlichen Tools für verschiedenste Budgetgrößen. Mit den folgenden drei Tools lassen sich AB Tests nach eigener Erfahrung schnell und einfach durchführen.
Für den Einstieg in die Thematik eignet sich vor allem Google Optimize, denn das Tool gehört zur Analytics360-Suite und ist in Google Analytics integriert. Ein Chrome-Plugin hilft beim Anlegen neuer Tests. Zudem sind unterschiedliche Targeting-Möglichkeiten wählbar.
Ein weiterer großer sowie empfehlenswerter Anbieter ist Optimizely. Über eine benutzerfreundliche Oberfläche lassen sich hier ebenfalls verschiedene Tests erstellen. Sollten die Ansprüche über die gegebenen Funktionen hinausgehen, kann das „Professional“-Angebot genutzt werden. Der Preis hängt dabei von dem monatlichen Traffic der Website ab.
AB Tasty ist die dritte Empfehlung für eine Komplettlösung im Bereich Conversion Rate Optimierung. Neben dem Aufsetzen von Tests können damit unterschiedliche Nutzersegmente auf der Website festgelegt oder verschiedene Bannerformate ausprobiert werden. Das Tool bietet zudem die Option, die Testings auf mobilen Geräten durchzuführen.
Fehler & Herausforderungen beim Testing
Abschließend haben wir die häufigsten Fehler zusammengetragen, die es zu vermeiden gilt.
- Testen ohne vorherige Planung: AB Tests sollten immer auf einer fundierten Datengrundlage beruhen. Dabei gilt, Nullhypothese und Testhypothese erstellen und erwartetes Ergebnis festhalten. Wird einfach drauf los getestet werden teure Tests durchgeführt, die im schlimmsten Fall keinen Nutzen für das Unternehmen bringen.
- Andere kopieren: Ein Konkurrent hat Veränderungen vorgenommen und daher sollten diese auch auf der eigenen Seite durchgeführt werden? Nein! Die Veränderung muss immer mit Hilfe des eigenen Traffics getestet werden.
- Zu viel auf einmal testen: Wie bereits oben beschrieben wird es bei mehreren Tests, die gleichzeitig durchgeführt werden, schwierig die Ergebnisse zu bewerten. Zudem ist mehr Traffic erforderlich, wenn mehrere Tests parallel laufen. Dies muss unbedingt im Hinterkopf behalten werden. Daher unser Tipp – Test für Test sauber durchführen und bewerten
- Testzeitraum falsch gewählt: Damit Testergebnisse signifikant sein können, müssen sie dem passenden Zeitraum unterliegen. Dies sollte unbedingt beachtet werden und die statistische Signifikanz dabei nicht vernachlässigt werden.
Zusammenhang zwischen AB Testing und SEO
Im Hinblick auf SEO gilt es ein paar Punkte zu beachten, um das bestehende Ranking nicht negativ zu beeinflussen.
Wichtig ist es, das sogenannte Cloaking zu vermeiden. Cloaking bedeutet, dass dem Nutzenden ein anderer Inhalt zur Verfügung gestellt wird wie der Suchmaschine. Dies gilt es zu vermeiden, um nicht gegen die Webmaster-Richtlinien zu verstoßen. Immer wenn der User-Agent “Googlebot” erkannt wird, sollte das Original ausgespielt werden.
Zudem ist es wichtig, dass 302 Weiterleitungen anstelle von 301 Weiterleitungen verwendet werden, sofern der Nutzer im Rahmen des Tests auf eine neue URL geleitet wird. Zudem sind auch JavaScript basierte Weiterleitungen möglich. Um kanonische URLs zu kennzeichnen sollte unbedingt das Link-Attribut rel=”canonical” gesetzt werden.
Speziell für SEO Maßnahmen sollten SEO AB Tests durchgeführt werden. SEO AB Tests teilen die Website statistisch ähnliche Seiten und ausgewählte Kontrollseiten ein. An den statistisch ähnlichen Seiten werden im Anschluss die Änderungen vorgenommen. Hintergrund ist der, dass vorgenommene Änderungen schnell auf die getesteten Veränderungen zurückgeführt werden, die Ergebnisse aber durch nicht zu beeinflussende Faktoren entstanden sein können. Dies können zum Beispiel Aktivitäten von Wettbewerbern sein, die sich auf das Ranking der eigenen Seite auswirken. Zusätzlich übersteigt die Dauer, die Suchmaschinen benötigen um die Seite zu crawlen die angesetzte Testdauer. Das Ergebnis des Tests könnte zeigen, welche der SEO Maßnahmen zu einer steigerung des organischen Traffics führt.
AB Tests eignen sich für jeden Shop, sofern die nötigen Kapazitäten vorhanden sind und können einen entscheidenden Beitrag zur Optimierung der eigenen Seite für mehr zufriedene Nutzer:innen und mehr Conversions darstellen.
SEO Agentur mso digital
Hast Du weitere Fragen oder benötigst Du Unterstützung bei der SEO-Optimierung Deiner Website? Dann melde Dich gerne bei uns!
Noch kein Kommentar, Füge deine Stimme unten hinzu!