Jeden Klick zu erfassen, scheint eine gute Möglichkeit zu sein, keine Informationen zu verlieren. In der Praxis entstehen dadurch jedoch oft schwer zu pflegende Schemata, unübersichtliche Berichte und Fragen, die niemand zuverlässig beantworten kann. Das Problem sind nicht zu viele Daten an sich, sondern erfasste Aktionen, ohne zu wissen, welche Entscheidung sie unterstützen sollen.
Um zu entscheiden, welche Events in der Produktanalyse erfasst werden sollten, beginnen Sie mit einer konkreten Entscheidung: Was würden Sie anders machen, wenn die Daten das eine oder das andere Ergebnis zeigten? Legen Sie anschließend fest, welches Verhalten diese Entscheidung sichtbar machen würde, welchen Kontext Sie benötigen und wie Sie die Messung überprüfen. Diese Reihenfolge hilft dabei, eine schlankere und nützlichere Instrumentierung aufzubauen.
Beginnen Sie mit der Entscheidung, nicht mit dem Event
Bevor Sie ein Event hinzufügen, sollten Sie die anstehende Produkt- oder Geschäftsentscheidung konkretisieren. Vielleicht geht es darum, eine Verbesserung zu priorisieren, einen Abbruch zu untersuchen, einen Ablauf zu ändern oder zu prüfen, ob eine neue Erfahrung genutzt wird. Wenn kein denkbares Ergebnis den nächsten Schritt verändern würde, hat die Messung vermutlich keine hohe Priorität.
Formulieren Sie die Frage so, dass sich daraus Maßnahmen ableiten lassen. „Funktioniert die neue Funktion?“ ist zu allgemein: Gemeint sein könnten die Auffindbarkeit, die Nutzung, das Verständnis oder die Wirkung. Nützlicher wäre etwa: „Welcher Anteil der Personen, die die Funktion entdecken, führt innerhalb der ersten Woche die zentrale Aktion aus?“ Die Frage macht bereits deutlich, welche Zielgruppe, welches Verhalten und welcher Zeitraum genauer definiert werden müssen.
Halten Sie außerdem mögliche Antworten und ihre jeweiligen Konsequenzen fest. Bei geringer Nutzung könnte untersucht werden, ob die Funktion sichtbar genug ist. Wenn viele Personen sie ausprobieren, aber nur wenige den Vorgang abschließen, könnte der Ablauf überprüft werden. Die Analyse trifft keine Entscheidungen für das Team, sollte aber Szenarien unterscheiden, die zu unterschiedlichen Entscheidungen führen.
Übersetzen Sie Fragen in beobachtbares Verhalten
Eine Frage lässt sich nicht direkt messen. Sie muss in Aktionen übersetzt werden, die das Produkt erfassen kann und die das relevante Verhalten angemessen abbilden. Bei einer Frage zum Abschluss einer Aufgabe könnte es beispielsweise notwendig sein, den Beginn und den Abschluss zu erfassen – nicht jede Cursorbewegung oder jeden Zwischenschritt per Klick.
Legen Sie fest, was als jeweilige Aktion gilt. „Registrierung abgeschlossen“ könnte bedeuten, dass ein Formular abgeschickt, die Anfrage vom Server angenommen oder das Konto freigeschaltet wurde. Diese Zeitpunkte sind nicht gleichbedeutend. Entscheiden Sie sich für den Zeitpunkt, der das zu untersuchende Ergebnis abbildet, und definieren Sie, wann er eintritt – auch bei Fehlern oder erneuten Versuchen.
Ein Event ist in der Regel dann nützlich, wenn es:
- eine für das Produkt bedeutsame Aktion oder Zustandsänderung darstellt;
- eine priorisierte Frage beantwortet und nicht nur Aktivitäten beschreibt;
- einen klar definierten Auslösezeitpunkt hat und in einem Test überprüft werden kann;
- einen Nutzen bietet, der den Aufwand für Instrumentierung und Pflege rechtfertigt.
Vermeiden Sie mehrdeutige Namen wie „Aktion“, „Interaktion“ oder „Erfolg“, sofern sie nicht gemeinsam definiert wurden. Ein klarer, stabiler Name wie „Einladung versendet“ erleichtert es Produktmanagement, Analyse und Entwicklung, die Daten gleich zu verstehen.
Trennen Sie Events, Eigenschaften und Kontext
Das Event beschreibt, was passiert ist. Eigenschaften ergänzen Einzelheiten zum Ereignis, etwa die Art des ausgewählten Elements oder das Ergebnis eines Vorgangs – sofern diese Werte dabei helfen, die Frage zu beantworten. Der Kontext zu Nutzenden oder Sitzungen ermöglicht Analysen dazu, wer die Aktion ausgeführt hat oder unter welchen Umständen. Er sollte jedoch nicht automatisch hinzugefügt werden.
Fragen Sie bei jeder Eigenschaft, welchen Vergleich sie ermöglicht und ob dieser Vergleich eine Entscheidung verändern würde. Eine Eigenschaft mit freien, uneinheitlichen oder fast immer leeren Werten kann zusätzliche Komplexität schaffen, ohne die Ursachenanalyse zu verbessern. Definieren Sie, wo sinnvoll, Datentypen und zulässige Werte. Klären Sie außerdem, ob ein Wert fehlen darf und was dieses Fehlen bedeutet.
Erfassen Sie nur den erforderlichen Kontext. Personenbezogene oder sensible Daten verlangen besondere Sorgfalt: Prüfen Sie den Zweck, die Berechtigungen, die geltenden Richtlinien und den Zugriffskreis. Nehmen Sie identifizierende Informationen nicht aus Bequemlichkeit in Eventnamen oder Eigenschaften auf. Wenn eine Kategorie oder ein Status genügt, sollten Sie den ursprünglichen Wert nicht erfassen.
Eine kurze Dokumentation pro Event kann den Namen, den Zweck, die Auslösebedingung, Eigenschaften, Ausnahmen, eine verantwortliche Person und die damit zu beantwortenden Fragen festhalten. Nicht jedes Event benötigt ein umfangreiches Dokument. Wichtig ist, dass eine andere Person seine Bedeutung verstehen kann, ohne auf die Person angewiesen zu sein, die es implementiert hat.
Priorisieren Sie nach Entscheidungsnutzen und Pflegeaufwand
Der Aufwand für ein Event endet nicht mit seiner Veröffentlichung. Jemand muss die Definition bei Änderungen an der Oberfläche pflegen, prüfen, ob das Event weiterhin eingeht, und seine Grenzen bei späteren Analysen erläutern. Deshalb empfiehlt es sich, mögliche Events zu ordnen, statt alle gleichzeitig zu instrumentieren.
- Bewerten Sie die Entscheidung: Klären Sie, wie wichtig die Frage ist und welche Maßnahme die Antwort ermöglichen würde.
- Prüfen Sie die Beobachtbarkeit: Stellen Sie sicher, dass sich das Verhalten zuverlässig und an der richtigen Stelle im System erkennen lässt.
- Schätzen Sie den Aufwand: Berücksichtigen Sie Implementierung, Validierung, Berechtigungen, Datenvolumen und künftige Pflege.
- Beginnen Sie mit dem erforderlichen Minimum: Erfassen Sie nur die Events und Eigenschaften, die zum Unterscheiden relevanter Szenarien notwendig sind.
Hat eine Frage einen hohen Nutzen, lässt sich aber mit der vorhandenen Instrumentierung nicht beantworten, dokumentieren Sie die Einschränkung und entscheiden Sie, ob eine Verbesserung sinnvoll ist. Ist die Frage wenig relevant oder ist keine Maßnahme damit verbunden, stellen Sie sie zurück. So wird „Vielleicht ist es irgendwann nützlich“ nicht zum üblichen Grund, zusätzliche Daten zu erfassen.
Prüfen Sie vollständige Abläufe und achten Sie auf Datenrauschen
Bevor Sie die Daten als Entscheidungsgrundlage verwenden, testen Sie wichtige Abläufe unter realistischen Bedingungen. Prüfen Sie, ob ein Event bei Bedarf genau einmal erscheint, erst nach dem vorgesehenen Ergebnis ausgelöst wird und seine Eigenschaften mit dem tatsächlichen Ablauf übereinstimmen. Beziehen Sie auch alternative Fälle ein: Fehler, Abbrüche, erneute Versuche, die Zurück-Navigation und Zustandsänderungen.
Ein Event, das auf bestimmten Geräten oder in bestimmten Abläufen fehlt, kann zu verzerrten Schlussfolgerungen führen. Wird es zweimal ausgelöst, können Conversion-Zahlen zu hoch ausfallen. Ein weiteres Warnsignal ist, wenn verschiedene Teams denselben Namen für unterschiedliche Sachverhalte verwenden oder sich die Bedeutung einer Eigenschaft ändert, ohne dass ihre Definition angepasst wird.
Um solche Probleme zu erkennen, vergleichen Sie Event-Stichproben mit realen Testabläufen und den erwarteten Daten. Bei Abweichungen sollten Sie zuerst herausfinden, wo das Problem entsteht: in der Definition, der Implementierung, der Übertragung oder der Interpretation. Korrigieren Sie keine Zahl in einem Bericht, ohne die Ursache zu beheben – derselbe Fehler könnte sonst in anderen Analysen erneut auftreten.
Überarbeiten Sie das Schema, wenn sich das Produkt verändert
Die Instrumentierung ist kein Projekt, das einmal abgeschlossen wird. Änderungen an Abläufen, Berechtigungen oder dem Geschäftsmodell können beeinflussen, was ein Event bedeutet. Bevor Sie es anpassen, prüfen Sie, welche Analysen davon abhängen und ob der Name weiterhin dieselbe Bedeutung hätte. Ändert sich das abgebildete Verhalten, dokumentieren Sie den Übergang und vermeiden Sie es, nicht vergleichbare Zeiträume ohne Hinweis zusammenzufassen.
Planen Sie Überprüfungen ein, die an wichtige Änderungen und Produktfragen gekoppelt sind. Entfernen Sie nicht mehr verwendete Events, aktualisieren Sie veraltete Definitionen und benennen Sie Verantwortliche für Events, die wichtige Entscheidungen unterstützen. Ziel ist nicht, das Schema um jeden Preis möglichst klein zu halten. Es soll vielmehr verständlich, angemessen und zuverlässig bleiben.
Kurz gesagt: Eine gute Instrumentierung beginnt mit einer Entscheidung, erfasst beobachtbares Verhalten und ergänzt nur den Kontext, der für die Interpretation erforderlich ist. Definieren Sie Grenzfälle, testen Sie Abläufe und überprüfen Sie das Schema, wenn sich das Produkt weiterentwickelt. So hat jedes Event einen klaren Zweck und die Daten werden zu einer besseren Grundlage für konkrete Maßnahmen.