Experimentierplattformen

Eine Experimentierplattform spielt Varianten aus und erfasst Ergebnisse für einen Vergleich. Wählen Sie zuerst nach der geplanten Änderung: Geht es um eine Marketingseite, eine Produktfunktion oder einen Ablauf über mehrere Systeme? Prüfen Sie dann, ob Zuordnung, Ereignisse, Auswertung und Betrieb zusammenpassen.

Vom Testziel zur Werkzeugwahl

Beschreiben Sie vor der Produktsuche die Variante, die wichtigste Kennzahl und eine mögliche unerwünschte Folge. Für eine Landingpage könnte ein abgeschicktes Formular zählen, für eine Produktsuche ein abgeschlossener Suchvorgang. Beides sind Beispiele für Testziele, keine gemessenen Ergebnisse.

Klären Sie, wer die Änderung umsetzt und bei Problemen zurücknimmt. Ein visueller Editor kann Text und Gestaltung einer Webseite ändern. Eine Sortierregel in einer Anwendung muss dagegen im Produktcode umgesetzt werden; eine Flag kann ihre Auslieferung steuern.

Eine gezielte Flag-Auslieferung steuert zunächst, wer eine Funktion sieht. Für einen Variantenvergleich braucht es zusätzlich einen entsprechend eingerichteten Test mit erfassten Entscheidungen und Ergebnisereignissen.

Den Messweg prüfen

Verfolgen Sie einen Fall vom Eintritt in den Test über die Variantenentscheidung bis zum Ergebnisereignis. Eine Zuordnung im System bedeutet nicht zwingend, dass jemand die geänderte Funktion tatsächlich genutzt hat. Legen Sie fest, was die Plattform als Impression erfasst und welche Personen in die Auswertung eingehen.

Bestimmen Sie die Zuordnungseinheit, etwa Browser, angemeldete Person oder Kundenkonto. Prüfen Sie einen Wechsel vom anonymen zum angemeldeten Zustand sowie Ergebnisse, die erst im Backend entstehen. Definieren Sie vorab die Hauptkennzahl, weitere Beobachtungsgrößen und den Zeitraum, in dem ein Ergebnis dem Test zugerechnet wird.

Eine brauchbare Auswertung zeigt die Zahlenbasis, Kennzahldefinitionen, Unsicherheit und den Stand der Daten. Fragen Sie, wie sie eine auffällige Variantenverteilung erkennen lässt. Ein statistischer Hinweis macht fehlerhafte Ereignisse oder wechselnde Zuordnungen nicht verlässlich.

Betrieb und Datenverarbeitung einbeziehen

Prüfen Sie Rechte zum Erstellen, Starten und Pausieren von Tests sowie den Rückweg bei Fehlern. Lassen Sie den Anbieter den vorgesehenen Ablauf im angebotenen Produktbereich zeigen: Dokumentierte Funktionen und Berechtigungen können je nach Produkt und Tarif abweichen.

Beziehen Sie § 25 TDDDG in die rechtliche Prüfung ein und klären Sie anhand des Gesetzestextes und des konkreten Einsatzes, ob und in welchem Umfang die Vorschrift einschlägig ist. Die weitere Verarbeitung personenbezogener Daten ist gesondert zu prüfen. Erfassen Sie deshalb, welche Kennungen und Ereignisse wohin gelangen und wie lange sie aufbewahrt werden.

Klären Sie auch, welche Rollen für Änderungen an Tests und Flags erforderlich sind. Bei Optimizely Feature Experimentation setzt das Erstellen einer Flag mindestens Editor-Zugriff in einer Umgebung voraus; wer eine Flag erstellt, erhält dafür automatisch die Admin-Rolle. Solche Regeln sollten im Pilot mit den tatsächlich vorgesehenen Teammitgliedern nachvollzogen werden.

Funktionen im Pilot vorführen

Lassen Sie sich an einer konkreten Seite zeigen, wie Varianten erstellt und veröffentlicht werden und welche Änderungen im Editor möglich sind. Optimizely Performance Edge nennt dafür beispielsweise Änderungen an Text und Gestaltung sowie eigene Anpassungen mit JavaScript und CSS.

Prüfen Sie, wie die Plattform den Einsatzort und die Zielgruppe festlegt und ob Einstellungen für spätere Experimente wiederverwendet werden können. Klären Sie in der Vorführung, ob sich die gewünschte Seite und Zielgruppe ohne unnötige Sonderwege abbilden lassen.

Bei Funktionen im Produkt sollte die Vorführung auch den Lebenszyklus der Änderung abdecken: Eine Flag kann Funktionalität ohne erneutes Deployment ein- oder ausschalten, eine schrittweise Auslieferung ermöglichen und bei Problemen zurückgenommen werden. Fragen Sie, ob die Zuständigkeiten und Berechtigungen für Erstellen, Starten und Zurücknehmen in Ihrem Team nachvollziehbar geregelt sind.

Berichte im Pilot beurteilen

Prüfen Sie, ob ein Bericht neben dem Vergleich der Kennzahlen auch Status, Besucherzahl, Aktualisierungsstand und jüngstes Ereignis erkennen lässt. Fragen Sie außerdem, ob die Plattform auffällige Abweichungen in der Variantenverteilung sichtbar macht.

Achten Sie darauf, wie Unsicherheit und unterschiedliche Besuchergruppen dargestellt werden. Lassen Sie sich zeigen, ob Ihr Team diese Angaben versteht und für die Pilotentscheidung verwenden kann.

Mit einem begrenzten Pilot entscheiden

Wählen Sie eine überschaubare Änderung mit einem klar definierten Ergebnisereignis. Halten Sie vorab fest, welche Beobachtungen für Einführung, Nacharbeit oder Ablehnung sprechen: stabile Zuordnung, nachvollziehbare Ereignisse, verständliche Berichte, beherrschbarer Betrieb und geklärte Datenverarbeitung.

Ein allgemeiner Leistungsvorsprung des Anbieters lässt sich daraus nicht ableiten.

Nehmen Sie in die Pilotkriterien auf, ob ein Bericht zeitnah genug für Ihren Arbeitsablauf aktualisiert wird. Optimizely gibt an, dass Ergebnisse typischerweise fünf bis zehn Minuten nach dem Eingang der Daten verfügbar sind; prüfen Sie im eigenen Ablauf zusätzlich, ob letzter Ereigniszeitpunkt und Aktualisierungsstand verständlich angezeigt werden.

Halten Sie die Entscheidung anhand beobachtbarer Kriterien fest: Lassen sich Zielseite und Zielgruppe passend einstellen, ist eine Änderung veröffentlichbar und im Fehlerfall rücknehmbar, und zeigt der Bericht nachvollziehbar Datenstand sowie Verteilungsprobleme?