Softwarevergleich
Teil von Experimentierplattformen
Testzuordnung und Auswertung im Anbieterprodukt prüfen
Mit einem festen Vorführfall Zuordnung, Ereignisse, Zahlenbasis und Berichte einer Experimentierplattform prüfen.
Prüfen Sie Zuordnung und Auswertung anhand eines vorab beschriebenen Falls im tatsächlich angebotenen Produktbereich. Die Vorführung soll zeigen, ob eine Kennung bei wiederholter Entscheidung dieselbe Variante erhält, ob ein Ergebnis korrekt zugerechnet wird und wie der Bericht Unsicherheit oder Datenprobleme darstellt.
Den Vorführfall festlegen
Definieren Sie zwei Varianten, Zielgruppe, Zuordnungseinheit, Verkehrsverteilung und ein Ergebnisereignis, etwa einen Formularabschluss. Fragen Sie, welche Schritte im angebotenen Tarif verfügbar sind und welche Berechtigung dafür nötig ist.
Verwenden Sie kontrollierte Testkennungen. Lassen Sie eine Kennung mehrfach entscheiden und prüfen Sie, ob die Variante bei gleicher Konfiguration stabil bleibt.
Für einen Grenzfall wählen Sie den Wechsel von anonymem Besuch zur Anmeldung oder ein späteres Backend-Ereignis. Fragen Sie, welche Kennung bei der Entscheidung und beim Ereignis verwendet wird.
Fordern Sie für beide Varianten einen nachvollziehbaren Nachweis. Zwei beliebige Kennungen garantieren keine Verteilung auf beide Varianten.
Bei Optimizely Feature Experimentation hängt die dokumentierte Zuordnung von Kennung und Regeln ab. Bestimmte Änderungen an laufenden Regeln können eine erneute Zuordnung auslösen. Klären Sie deshalb, welche Änderungen der Anbieter während eines Tests erlaubt und wie er deren Wirkung auf Ergebnisse kennzeichnet.
Ereignis und Zahlenbasis verfolgen
Lassen Sie den Zeitpunkt der Entscheidung und den des Ergebnisereignisses zeigen. Im dokumentierten Optimizely-Feature-Ablauf erscheinen getrackte Ereignisse in Experimentergebnissen nur, wenn zuvor für dieselbe Person eine passende Entscheidung erfasst wurde. Andere Produkte können anders arbeiten; für den eigenen Test zählt der gezeigte Ablauf.
Fragen Sie, wer im Bericht als teilnehmend gilt und ob ein Ereignis einmal je Person oder bei jedem Auftreten zählt. Prüfen Sie fehlende, doppelte und verspätete Ereignisse mit bekannten Eingaben. Eine korrekt aussehende Kennzahl genügt nicht, wenn ihr Nenner oder ihre Zählregel unklar ist.
| Vorführung | Nachweis |
|---|---|
| Wiederholte Entscheidung | Kennung, Regel und Variante sind nachvollziehbar. |
| Ergebnisereignis | Es wird der erwarteten Variante zugerechnet. |
| Fehlendes oder doppeltes Ereignis | Die Ursache und die Wirkung auf die Kennzahl sind erkennbar. |
| Auffällige Variantenverteilung | Der Bericht weist darauf hin oder bietet die nötigen Zahlen zur Prüfung. |
Erwartetes vs. angezeigtes Ergebnis in der Vorführung
- Wiederholte Entscheidung
- Kennung, Regel und Variante sind nachvollziehbar.
- Ergebnisereignis
- Wird der erwarteten Variante zugerechnet.
- Fehlendes oder doppeltes Ereignis
- Ursache und Wirkung auf die Kennzahl sind erkennbar.
- Auffällige Verteilung
- Bericht weist darauf hin oder bietet Zahlen zur Prüfung.
Den Bericht lesen
Lassen Sie Haupt- und Nebenkennzahlen, Zahlenbasis, Unsicherheitsbereich und Datenstand zeigen. Die dokumentierte Optimizely-Ergebnisseite enthält Konfidenzintervalle und einen Indikator für starke Abweichungen der Variantenverteilung. Die Seite weist zugleich auf Unterschiede zwischen Produktbereichen und auf eine neuere Ergebnisansicht hin. Verlangen Sie daher die Ansicht für das konkrete Angebot.
Untersuchen Sie bei auffälliger Verteilung Kennungen, Zielgruppenregeln und Ausspielung, bevor Sie einen Effekt bewerten. Trennen Sie vorher geplante Auswertungen von später erkundeten Teilgruppen.
Wichtige Kennzahlen im Bericht prüfen
- Hauptkennzahl
- Z. B. Conversion-Rate oder Formularabschlussquote
- Nebenkennzahl
- Z. B. Klickrate oder Zeit auf Seite
- Zahlenbasis
- Anzahl der entschiedenen Nutzer (Impressions)
- Datenstand
- Aktualisierungszeitpunkt der Ergebnisse
Vorteile und Risiken bei der Berichtsinterpretation
- Vorteil: Konfidenzintervalle zeigen Unsicherheit
- Hilft, signifikante Unterschiede zu erkennen und Überinterpretation zu vermeiden.
- Nachteil: Unklare Zählregeln führen zu Fehlinterpretation
- Z. B. Ereignisse je Person vs. je Aufruf beeinflussen Ergebnisse stark.
- Vorteil: Unterscheidung zwischen Produktbereichen
- Ermöglicht differenzierte Bewertung bei mehreren Angeboten.
- Nachteil: Spätere Teilgruppenanalyse kann Verzerrung erzeugen
- Plausible Ergebnisse können durch Post-hoc-Analysen entstehen.
Das Ergebnis der Vorführung festhalten
Notieren Sie für jeden Schritt, ob er gezeigt, nur beschrieben oder für den angebotenen Tarif offen ist. Wenn Sie Daten außerhalb der Oberfläche prüfen müssen, fragen Sie nach einem Export und dessen Umfang. Halten Sie offene Abweichungen zwischen erwarteter und angezeigter Kennung, Ereigniszahl oder Zahlenbasis als konkrete Nachforderung fest.
