Ein Test kann mehr Conversions zeigen und gleichzeitig Fehler, Supportanfragen oder die Zeit erhöhen, die eine Aufgabe in Anspruch nimmt. Die wichtigste Kennzahl sieht günstig aus, doch die Kosten für Nutzerinnen und Nutzer oder den Betrieb werfen eine berechtigte Frage auf: Soll die Änderung eingeführt, angepasst oder gestoppt werden?
Bei der Entscheidung geht es nicht darum, die Kennzahl auszuwählen, die eine bereits bestehende Präferenz am besten stützt. Vielmehr müssen Sie das Ergebnis mit einer Hypothese abgleichen, die Qualität der Evidenz berücksichtigen und bestimmen, welche Risiken vertretbar sind. Dieser Rahmen hilft dabei, das Ergebnis eines Produktexperiments zu beurteilen, ohne alles auf eine einzige Zahl zu reduzieren oder jede Abweichung zum Anlass zu nehmen, einen Test endlos fortzusetzen.
Warum eine günstige Hauptkennzahl nicht ausreicht
Die Hauptkennzahl bildet das Ergebnis ab, das die Maßnahme verändern soll: etwa den Abschluss eines Kaufs, die Aktivierung eines Kontos oder die Buchung eines Termins. Sie ist wichtig, weil sie das Ziel ausdrücklich festlegt. Ein Anstieg dieses Ergebnisses beweist jedoch für sich genommen nicht, dass die Änderung insgesamt sinnvoll ist.
Eine scheinbare Verbesserung kann mit mehr Stornierungen, Zahlungsfehlern, Kontakten zum Kundenservice oder Abbrüchen bei einem späteren Arbeitsschritt einhergehen. Eine Änderung kann Aktivitäten außerdem zwischen einzelnen Schritten verschieben, ohne das Endergebnis zu verbessern. Ein neuer Bildschirm könnte beispielsweise die Klicks auf „Weiter“ erhöhen, aber nicht unbedingt die Zahl der abgeschlossenen Käufe.
Deshalb sollten Sie drei Fragen getrennt betrachten:
- Hat sich das angestrebte Ergebnis verändert? Die Hauptkennzahl beantwortet die unmittelbare Hypothese.
- Hat die Änderung relevante Schäden verursacht? Schutzkennzahlen machen wichtige Kosten oder Verschlechterungen sichtbar.
- Erlaubt die Evidenz, die Veränderung der Maßnahme zuzuschreiben? Die Qualität der Messung, die Zuteilung und der Beobachtungszeitraum beeinflussen die Interpretation.
Ein günstiges Ergebnis bei der ersten Frage beantwortet die beiden anderen nicht automatisch. Eine Änderung sollte nur dann weiterverfolgt werden, wenn ihr Nutzen hinreichend glaubwürdig ist und ihre Kosten innerhalb vertretbarer Grenzen bleiben.
Vor dem Test Hypothese und Entscheidungskriterien festlegen
Halten Sie vor Beginn des Tests fest, was geändert wird, für wen die Änderung gedacht ist und warum sie voraussichtlich ein bestimmtes Ergebnis hervorbringt. Die Hypothese sollte einen überprüfbaren Zusammenhang beschreiben und nicht so formuliert sein, als sei die Lösung bereits erwiesenermaßen richtig. Ein Beispiel: „Wenn wir diesen Schritt vereinfachen, brechen weniger neue Nutzerinnen und Nutzer ab, weil sie zu diesem Zeitpunkt keine Informationen angeben müssen, die noch nicht benötigt werden.“
Legen Sie außerdem die geeignete Zielgruppe, das Hauptergebnis und den Zeitraum oder das notwendige Datenvolumen zur Bewertung fest. Die Dauer sollte nicht allein deshalb gewählt werden, weil in den ersten Tagen auffällige Zahlen aufgetaucht sind. Berücksichtigen Sie relevante Nutzungsmuster, bekannte saisonale Schwankungen und die Zeit, die nachgelagerte Effekte wie Rückgaben oder Supportanfragen benötigen, um sichtbar zu werden.
Vereinbaren Sie, bevor Sie die Ergebnisse sehen, welche Entscheidungen möglich sind und welche Signale sie auslösen würden. Sie müssen nicht so tun, als ließe sich alles in einem einzigen statistischen Schwellenwert zusammenfassen. Wichtig ist jedoch, folgende Fälle zu unterscheiden:
- Bedingungen für die Einführung: ein hinreichend überzeugender Nutzen ohne unvertretbare Verschlechterung bei den Schutzkennzahlen.
- Bedingungen für einen Stopp: ein klarer Schaden, ein nicht erfüllbarer betrieblicher Anspruch oder ein Risiko, das durch die Verbesserung nicht aufgewogen wird.
- Bedingungen für eine Untersuchung oder Weiterentwicklung: ein unsicheres Ergebnis, ein behebbares Problem oder Daten, die keine verlässliche Schlussfolgerung zulassen.
Legen Sie die Grenzen passend zum jeweiligen Kontext fest. Ein kleiner Rückgang bei einer Nebenkennzahl kann hinnehmbar sein, wenn die Auswirkung umkehrbar und der Nutzen relevant ist. Mehr Fehler, die eine wichtige Aufgabe verhindern, können dagegen einen Stopp erfordern, auch wenn die Conversion steigt. Die Grenzwerte sollten die Folgen für Nutzerinnen, Nutzer und Unternehmen widerspiegeln und nicht nur der statistischen Zweckmäßigkeit dienen.
Schutzkennzahlen auswählen und Warnschwellen festlegen
Schutzkennzahlen, auch Guardrail-Metriken genannt, überwachen Auswirkungen, die sich durch die Maßnahme nicht wesentlich verschlechtern sollten. Welche Kennzahlen sinnvoll sind, hängt von der Änderung ab. Bei einer Anpassung der Registrierung kann es nötig sein, Fehler, spätere Aktivierungen und Supportkontakte zu beobachten. Bei einer Änderung des Kaufprozesses sollten Sie möglicherweise fehlgeschlagene Zahlungen, Stornierungen, Rückgaben und Bearbeitungszeiten prüfen.
Wählen Sie nur wenige Kennzahlen aus, die konkrete Risiken abbilden und zuverlässig gemessen werden können. Dutzende Indikatoren erschweren es, ein wichtiges Signal von einer zufälligen Schwankung zu unterscheiden. Dokumentieren Sie für jede Kennzahl:
- welchen Schaden oder welche Kosten sie erkennen soll und für welche Zielgruppe sie gilt;
- ihr übliches Niveau und die Berechnung, einschließlich Nenner und Zeitfenster;
- welche Verschlechterung bedenklich wäre und welche Maßnahme sie auslösen würde;
- ob Daten verzögert eintreffen oder durch Fehler bei der Messung beeinflusst werden können.
Ein Warnschwellenwert ist nicht zwangsläufig ein abschließender statistischer Nachweis. Er kann als betriebliche Regel dienen, um eine Änderung zu pausieren und zu überprüfen – besonders dann, wenn ein möglicher Schaden schwerwiegend ist. Wird eine Warnung ausgelöst, prüfen Sie zuerst, ob die Messung funktioniert und der Vergleich gültig ist. Ignorieren Sie das Risiko nicht, während Sie auf eine perfekte Schlussfolgerung warten.
Widersprüchliche Signale beurteilen, ohne sich die passende Zahl auszusuchen
Wenn Kennzahlen voneinander abweichen, sollten Sie sie weder mitteln noch nachträglich diejenige auswählen, die Ihre bevorzugte Option stützt. Untersuchen Sie stattdessen die erwartete Wirkungskette: Hat die Änderung den vorgesehenen Schritt beeinflusst? Bleibt der Effekt beim späteren Ergebnis bestehen? Ist die Nebenkennzahl ein unmittelbarer Kostenfaktor, eine vorübergehende Folge oder ein Indikator, der keinen tatsächlichen Schaden abbildet?
Prüfen Sie auch die Datenqualität. Vergewissern Sie sich, dass die Zuteilung zu den Varianten funktioniert hat, Ereignisse einheitlich erfasst wurden und beide Gruppen vergleichbar sind. Prüfen Sie, ob gleichzeitige Änderungen, Ausfälle oder Kampagnen das Verhalten beeinflusst haben. Ist die Messung fehlerhaft, ist das Ergebnis weder „positiv“ noch „negativ“: Bis die Einschränkung behoben ist, bleibt es unklar.
Unterscheiden Sie zwischen Effektgröße und Sicherheit. Eine kleine, aber konsistente Veränderung kann wertvoll sein, wenn sie viele Interaktionen betrifft. Eine große Veränderung auf Basis weniger Daten kann dagegen fragil sein. Verwechseln Sie fehlende Hinweise auf einen Schaden nicht mit einem Beleg dafür, dass kein Schaden besteht – insbesondere bei seltenen oder erst später auftretenden Folgen.
Wenn sich das Hauptergebnis verbessert, aber eine Schutzkennzahl verschlechtert, fragen Sie, ob die Verschlechterung den festgelegten Grenzwert überschreitet, für die betroffenen Menschen relevant ist und sich plausibel erklären lässt. Ist der Kostenanstieg vertretbar und bleibt er innerhalb der Grenze, kann eine Einführung mit weiterer Beobachtung sinnvoll sein. Wird eine wichtige Grenze überschritten, gleicht die Verbesserung der Hauptkennzahl das nicht automatisch aus.
Einführen, weiterentwickeln, verlängern oder stoppen
Eine Einführung ist sinnvoll, wenn die Evidenz das Ziel stützt, keine Anzeichen für Schäden außerhalb der vereinbarten Grenzen vorliegen und der Betrieb die Änderung tragen kann. Die Einführung kann schrittweise erfolgen, mit fortlaufender Beobachtung und der Möglichkeit, die Änderung zurückzunehmen. Sie muss nicht sofort auf die gesamte Zielgruppe ausgeweitet werden.
Entwickeln Sie die Änderung weiter, wenn die Hypothese weiterhin plausibel ist, die Ergebnisse aber auf ein konkretes, behebbares Problem hinweisen. Beispielsweise kann der vereinfachte Ablauf funktionieren, während eine missverständliche Anweisung Supportanfragen verursacht. Formulieren Sie eine überarbeitete Hypothese und testen Sie die neue Änderung nach Möglichkeit separat, damit erkennbar bleibt, wodurch das Ergebnis zustande kam.
Verlängern Sie den Test nur, wenn relevante Informationen fehlen und sich diese mit einem gültigen Test gewinnen lassen. Legen Sie vorher fest, welche Unsicherheit geklärt werden soll, welche zusätzlichen Daten die Entscheidung verändern würden und wann die nächste Bewertung stattfindet. Wenn keine mögliche Beobachtung die Entscheidung beeinflussen würde, verursacht eine Verlängerung lediglich zusätzliche Kosten und erhöht das Risiko einer verzerrten Auswahl.
Stoppen Sie die Änderung, wenn ein Schaden die festgelegte Grenze überschreitet, die Änderung bei einer wesentlichen Aufgabe versagt oder die Hypothese an Plausibilität verliert und kein sinnvoller Korrekturweg besteht. Eine Variante zu stoppen, macht die gewonnenen Erkenntnisse nicht wertlos: Sie können eine Gestaltungsbeschränkung oder einen betrieblichen Bedarf sichtbar machen, der auf andere Weise angegangen werden sollte.
Unterschiedliche Zielgruppen und umkehrbare Entscheidungen
Ein Durchschnittsergebnis kann Unterschiede zwischen Gruppen verbergen. Machen Sie jedoch nicht aus jeder beobachteten Abweichung eine segmentierte Richtlinie: Je mehr Gruppen Sie überprüfen, desto wahrscheinlicher werden zufällige Unterschiede. Berücksichtigen Sie vor allem Segmente, die bereits vor dem Test definiert wurden, einen klaren Grund haben und genügend Informationen für eine sinnvolle Interpretation liefern.
Prüfen Sie, ob die Abweichung konsistent, relevant und erklärbar ist, bevor Sie handeln. Wenn neue Nutzerinnen und Nutzer offenbar profitieren, während sich die Ergebnisse für wiederkehrende Nutzerinnen und Nutzer verschlechtern, kann eine kontextabhängig unterschiedliche Nutzererfahrung eine Option sein. Das gilt jedoch nur, wenn sie sich umsetzen, messen und pflegen lässt, ohne Verwirrung oder unverhältnismäßige Kosten zu verursachen. Ist die Evidenz schwach, halten Sie das Signal als Hypothese für einen späteren Test fest und nicht als Schlussfolgerung.
Halten Sie abschließend die Entscheidung fest: Hypothese, Zielgruppe, Zeitraum, Kennzahlen, Warnmeldungen, Ergebnis, Unsicherheiten und Zuständigkeit für die Nachverfolgung. Legen Sie fest, welches neue Signal eine Neubewertung rechtfertigen würde und wie sich die Änderung zurücknehmen ließe. Eine umkehrbare und dokumentierte Entscheidung beseitigt das Risiko nicht. Sie ermöglicht jedoch ein begründetes Vorgehen, das Lernen aus tatsächlichen Auswirkungen und eine Kurskorrektur, ohne eine günstige Kennzahl mit einer automatischen Freigabe zu verwechseln.