Kampagnenwirkung mit einer Kontrollgruppe messen
Eine Konversionsrate beschreibt, was nach der Aktivierung geschah. Eine Kontrollgruppe hilft einzuschätzen, welchen Unterschied die Aktivierung gemacht hat: CAB hält einen Teil der geeigneten Zielgruppe zurück und vergleicht dessen Ergebnis mit der Gruppe, die der Kampagne hinzugefügt wurde.
Experiment starten
Abschnitt betitelt „Experiment starten“- Konfigurieren Sie eine geplante Kampagnenhinzufügung mit mindestens einer kompatiblen Wirkung vom Typ Conversion-Ereignis.
- Legen Sie Kontrollgruppe reservieren (%) fest. Die Vorschau schätzt, wie viele Mitglieder für diese Kampagne zurückgehalten werden.
- Speichern Sie den Zeitplan. Die Zuordnung bleibt bei wiederkehrenden Läufen stabil; wirklich neue Mitglieder werden beim ersten Auftreten zugewiesen.
- Öffnen Sie nach erfolgten Messungen den Wirkungsdatensatz über CAB-Wirkungsmessung. Lesen Sie unter Messwerte die Auswirkung der Aktivierung.
Das Diagramm stellt Aktivierte Datensätze neben Zum Vergleich zurückgehalten, jeweils zum selben Messzeitpunkt. Künftige Messzeitpunkte bleiben ausstehend. Wählen Sie im Ranking eine Zielgruppe, um ihren Beitrag zu prüfen. Hat sie keine Kontrollgruppe, weist CAB darauf hin, statt den Organisationsdurchschnitt als Kontrollgruppe zu verwenden.
Wirkung verstehen
Abschnitt betitelt „Wirkung verstehen“Vergleichen Sie aktivierte und zurückgehaltene Datensätze am gleichen Messzeitpunkt. Die folgenden Beispiele zeigen, wie Sie eine höhere oder niedrigere Rate der aktivierten Gruppe einordnen. Die Screenshots verwenden synthetische Daten und zeigen die englische Oberfläche.
| Beispiel, an Tag 7 | Aktiviert | Zurückgehalten | Unterschied |
|---|---|---|---|
| Monthly giving started | 73 / 404 = 18,1 % | 8 / 96 = 8,3 % | +9,7 Prozentpunkte |
| Lapsed donor reactivated | 30 / 303 = 9,9 % | 15 / 97 = 15,5 % | −5,6 Prozentpunkte |
Im ersten Beispiel ist die beobachtete Rate bei den aktivierten Datensätzen höher. Im zweiten schneidet die zurückgehaltene Gruppe besser ab. Prüfen Sie Stichprobengrößen, Messzeitpunkt und Hinweise zu Unsicherheit oder unvollständigen Messungen, bevor Sie die Aktivierung ausweiten, ändern oder wiederholen. Ein positiver Unterschied allein ist keine Aussage über statistische Signifikanz.
Prozentpunkte und Conversion-Faktor
Abschnitt betitelt „Prozentpunkte und Conversion-Faktor“Ein Unterschied in Prozentpunkten zieht die Rate der zurückgehaltenen Gruppe von der Rate der aktivierten Gruppe ab. Der Conversion-Faktor teilt die Rate der aktivierten Gruppe durch die Rate der zurückgehaltenen Gruppe. Beide beschreiben denselben Vergleich in unterschiedlichen Einheiten.
12 % gegenüber 5 % entsprechen beispielsweise +7 Prozentpunkten und dem 2,4-Fachen der Kontrollgruppenrate, also einer relativen Steigerung von 140 %. Das bedeutet keine Steigerung um 240 %. Wenn der Faktor angezeigt wird, steht 1,0× für gleiche Raten. Er benötigt ausreichend große Stichproben in beiden Gruppen und eine Kontrollgruppenrate über null. Ein nicht verfügbarer Faktor bedeutet nicht null Wirkung.
Der detaillierte Vergleich in einer Ausführung kann signifikant, nicht signifikant, Stichprobe zu klein und teilweise – wird noch gemessen unterscheiden. Diese Angaben bewerten die Evidenz, nicht die Größe des Unterschieds. Spätere Messzeitpunkte können eine andere Menge ausreichend alter Aktivierungen enthalten. Vergleichen Sie deshalb beide Gruppen zum selben Messzeitpunkt.
Experiment prüfen oder abschließen
Abschnitt betitelt „Experiment prüfen oder abschließen“Klappen Sie für eine einzelne Aktivierung deren Hinzufügung im Ausführungsverlauf auf. Die Zieltabelle enthält gegebenenfalls Zurückgehalten und Messung; die aufgeklappte Ansicht bietet den Vergleich Kontrollgruppe.
Öffnen Sie über Kontrollgruppe anzeigen / exportieren die Ansicht Mitglieder der Kontrollgruppe. Sie ist von den aktivierten Mitgliedern unter Verfolgte Aktivierungen getrennt.
Verwenden Sie Kontrollgruppe freigeben erst, wenn das wiederkehrende Experiment enden soll. Nach der Bestätigung hält der nächste Lauf keine Mitglieder mehr zurück: Geeignete Kontrollgruppenmitglieder werden der Kampagne hinzugefügt und die Messung der Kampagnenwirkung endet. Die Freigabe kann nicht rückgängig gemacht werden.
Kontrollgruppe für eine einzelne manuelle Hinzufügung reservieren
Abschnitt betitelt „Kontrollgruppe für eine einzelne manuelle Hinzufügung reservieren“Auch der normale Ablauf Zur Kampagne hinzufügen bietet Kontrollgruppe reservieren (%), wenn Outcome Tracking verfügbar ist. Geben Sie vor der Bestätigung einen Prozentsatz ein. CAB teilt diese eine Aktivierung auf und zeigt im Outcome-Abschnitt des Ausführungsverlaufs an, wie viele Mitglieder zurückgehalten wurden.
Eine manuelle Kontrollgruppe hat keinen wiederkehrenden Zeitplan, über den Mitglieder später freigegeben werden können. Ihre Zuordnung ist von einer anderen manuellen Hinzufügung unabhängig. Verwenden Sie ein geplantes Experiment, wenn dieselben Personen über wiederkehrende Hinzufügungen hinweg zurückgehalten und später über Kontrollgruppe freigeben einbezogen werden sollen.
Schutzregeln für Experimente
Abschnitt betitelt „Schutzregeln für Experimente“- Eine Kampagnenmitgliedschaftsregel kann keine Mitgliedschaft messen, die nie erzeugt wurde. Verwenden Sie für den Vergleich eine kompatible Conversion-Ereignis-Regel.
- Solange eine dauerhafte Kontrollgruppe aktiv ist, darf nur eine geplante Aktion diese Kampagne als Ziel verwenden.
- Der Prozentsatz wird nach Beginn des Experiments gesperrt.
- Die Kontrollgruppe schließt Mitglieder nur aus dieser Kampagne aus. Andere Kampagnen und Kontakte können beide Gruppen weiterhin beeinflussen.
- Ausstehende, fehlgeschlagene oder zu kleine Messungen bedeuten nicht null Conversions.