A/B-Test: Personalisierung und CX

Die Personalisierung von Angeboten ist einer der Schlüssel zu mehr Erfolg im digitalen Handel. Aber wie finden die Betreiberinnen und Betreiber eines Shops am besten heraus, was bei der Kundschaft ankommt? A/B-Tests sind hier eine Lösung.

Je stärker das Angebot auf die individuellen Wünsche der Kundinnen und Kunden zugeschnitten ist, umso besser. Fühlen sich die Nutzerinnen und Nutzer in einer App direkt angesprochen, verbessert das die Retention; in einem Shop steigert ein massgeschneidertes Angebot den Reiz, etwas in den Warenkorb zu legen. A/B-Tests helfen dabei, herauszufinden, was tatsächlich gewünscht ist.

So funktioniert ein A/B-Test

Ihren Namen verdanken A/B-Tests der Funktionsweise. Den Probanden werden zwei Varianten eines Inhalts präsentiert. Das kann ein CTA-Element (Call-to-Action) sein, eine Produktempfehlung oder ein Content-Baustein, zum Beispiel verschiedene Überschriften zum gleichen Beitrag in einem Newsletter.

Die Aktionen der Testpersonen werden gemessen. Stellt sich im direkten Vergleich heraus, dass eine der beiden Varianten sprichwörtlich besser ankommt, wird diese in Zukunft verwendet.

Es ist grundsätzlich möglich, mehr als zwei Varianten zu vergleichen, das steigert aber die Komplexität bei der Gestaltung des Tests und der Auswertung.

Hier machen A/B-Tests eine gute Figur

A/B-Tests eignen sich als Werkzeug in verschiedenen Bereichen im digitalen Handel:

• Gestaltung und Abläufe: Am Anfang steht eine Idee oder eine konkrete Frage. Gibt es aus Sicht der Kundschaft einen messbaren Unterschied, ob auf einem Button «Jetzt kaufen» oder «Zur Bestellung» steht? Lassen sich überhaupt Unterschiede erkennen, je nachdem, an welcher Position der Knopf steht? Amazon etwa hat viel experimentiert, bis die «Buy Box» dort zu stehen kam, wo sie sich befindet. Solche Experimente können ebenso auf Prozesse übertragen werden, beispielsweise was die Reihenfolge von Datenabfragen während des Bestellprozesses betrifft.
• Preise und Empfehlungen: Will ein Shopbetreiber Produktempfehlungen auf der Detailseite ausspielen, ist eine mögliche Frage, ob es sinnvoll ist, Empfehlungen aus der gleichen Produktkategorie zu unterbreiten. Bei einem A/B-Test enthält Variante A der ausgespielten Empfehlungen Artikel aus der aktuellen Kategorie, die Variante B berücksichtigt Produkte aus anderen Kategorien. Im Kern arbeitet nahezu jede Empfehlungsengine nach diesem Prinzip, wobei heute maschinelles Lernen für die Variantenproduktion und die Auswertung genutzt wird. A/B-Tests bilden auch die Grundlage bei der Ermittlung des optimalen Preises.

Tipps zur Umsetzung eines A/B-Tests

Damit ein A/B-Test auch gelingt, sind einige grundlegende Dinge zu beachten.

1. Daten analysieren und Hypothesen aufstellen
   Am Anfang steht die Datenanalyse. Gibt es beispielsweise Punkte in der Customer Journey, an denen besonders viele Nutzerinnen und Nutzer abbrechen? Bleibt die Wahl eines Zahlungsmittels in einem Shop deutlich hinter den Erwartungen zurück? Ausgehend von solchen konkreten Zahlen lassen sich dann Hypothesen entwickeln, mit welchen Veränderungen sich das Verhalten in die gewünschte Richtung beeinflussen lässt. Nicht so leicht (und deutlich aufwendiger) zu beantworten ist etwa die Frage, ob eine frechere Sprache in den Überschriften in einem Newsletter zu mehr Interaktion führt.
2. Auf ein Testszenario festlegen
   Ausgehend von der Hypothese wird ein Szenario definiert. Es werden somit stets zwei Varianten der Überschriften entwickelt. Bei der Präsentation der Bezahlverfahren wird die Reihenfolge verändert oder es werden andere Beschriftungen von Buttons entwickelt. Wichtig ist hierbei, dass nicht zu viele Dinge auf einmal verändert werden. Das schmälert die Aussagekraft des Tests und kann zu falschen Schlussfolgerungen führen.
3. Auf die Stichproben achten
   Wichtig ist, dass die Testpersonen gleichmässig und am besten automatisiert auf die beiden Varianten verteilt werden. Statistisch aussagekräftig sind die Ergebnisse nur, wenn eine möglichst grosse Zahl an Tests durchgeführt wird. Wer bereits nach nur 100 Ausspielungen der beiden Varianten seine Rückschlüsse zieht, läuft Gefahr, einem Zufall aufgesessen zu sein.
4. Dauer des Tests definieren
   Es hat grosse Bedeutung, die Dauer eins Tests vorab zu bestimmen. Beispielsweise ist der Zeitraum festzulegen, innerhalb dessen die Varianten dargestellt werden; oder die Zahl der Nutzerinnen und Nutzer zu definieren. Erst wenn das Ende des Tests erreicht wird, erfolgt die Abrechnung.
5. Ergebnis kritisch hinterfragen
   Im Idealfall ist das Ergebnis, dass eine Variante die gemessene Grösse positiv und signifikant verändert. Dann ist die Entscheidung für die Umsetzung (fast) gefallen. Es kann auch vorkommen, dass die Veränderung negativ und signifikant ausgefallen ist. Dann sollte der Weg besser nicht beschritten werden. Gab es auch nach einer entsprechenden Laufzeit keine signifikanten Unterschiede, war die Veränderung nicht zielführend. Im Falle von Kaufabbrüchen sind also neue Hypothesen gefragt.

Generell müssen die Ergebnisse eines A/B-Tests stets kritisch hinterfragt und auch im Kontext des gesamten Systems gesehen werden. Lautet etwa die Hypothese, dass eine andere Farbe des Bestellbuttons die Zahl der Bestellungen erhöht und bestätigt der Test diese Hypothese, muss aus Sicht des Unternehmens dieses Ergebnis in Relation zu anderen Zahlen gesetzt werden. Denn wenn sich die Zahl der Verkäufe erhöht hat, aber zugleich der Wert der Warenkörbe sank, kann die Umsetzung der Massnahmen letztlich zu weniger Umsatz führen.

Lösungen für das Testing

Dank einer Vielzahl an kostengünstigen Tools lassen sich A/B-Test auch von kleineren Händlern durchführen. So bietet Google mit «Optimize» ein Werkzeug für kleinere Test an, das kostenlos genutzt wird. Und in Versandwerkzeugen für Newsletter sind solche Testfunktionen in der Regel ohnehin enthalten.