Kontrollgruppe reservieren und Kampagnen-Lift messen

Kausalität messen

Eine beobachtete Conversion beantwortet die Frage „Was ist geschehen?“. Ein Kontrollgruppenexperiment beantwortet die schwierigere Frage: „Was ist aufgrund dieser Kampagne geschehen?“. CAB hält einen stabilen Anteil wirklich neuer Mitglieder zurück und vergleicht deren Conversion-Rate mit der kontaktierten Gruppe.

Geplante oder einmalige Kampagnenaktion · Deterministische Zuweisung · Conversion-Outcomes

Experiment starten

1. Konfigurieren Sie eine geplante Aktion zum Hinzufügen zu einer Kampagne mit mindestens einem kompatiblen Conversion-Outcome.
2. Geben Sie unter Kontrollgruppe reservieren (%) einen Prozentsatz ein. CAB zeigt eine Vorschau als ~… von … Personen nie kontaktiert.
3. Speichern Sie den Zeitplan. Bei wiederkehrenden Ausführungen bleiben dieselben Personen zurückgehalten; neue Mitglieder werden bei ihrem ersten Auftreten zugewiesen.
4. Öffnen Sie Ergebnisse oder den Outcome-Abschnitt der Ausführung, um Lift ggü. Kontrolle und Holdout-Lift zu prüfen.

Die Lift-Ansicht trennt Behandelt und Kontrolle, zeigt beide Stichprobengrößen und kennzeichnet das Ergebnis als signifikant, nicht signifikant, Stichprobe zu klein oder teilweise – wird noch gemessen.

Experiment prüfen oder abschließen

Wählen Sie Kontrollgruppe anzeigen / exportieren, um Kontrollgruppe (Holdout-Mitglieder) zu öffnen. Soll das Experiment enden, verwenden Sie Kontrollgruppe freigeben. Nach der Bestätigung werden die zurückgehaltenen Mitglieder bei der nächsten Ausführung zur Kampagne hinzugefügt und die Lift-Messung wird beendet. Dies kann nicht rückgängig gemacht werden.

Kontrollgruppe für eine einzelne manuelle Hinzufügung reservieren

Auch der normale Ablauf Zur Kampagne hinzufügen zeigt Kontrollgruppe reservieren (%), wenn Outcome Tracking verfügbar ist. Geben Sie vor dem Bestätigen der Aktion einen Prozentsatz ein. CAB teilt diese eine Aktivierung auf und zeigt im Outcome-Abschnitt ihres Ausführungsverlaufs … in dieser Ausführung zurückgehalten.

Eine manuelle Kontrollgruppe ist eine einmalige Aufteilung und kein dauerhaftes Experiment. Es gibt keinen wiederkehrenden Zeitplan, über den die Mitglieder später freigegeben werden können, und die Zuweisung ist von einer anderen manuellen Hinzufügung unabhängig. Verwenden Sie den geplanten Ablauf, wenn dieselben Personen bei wiederholten Sendungen im Kontrollarm bleiben sollen und Sie sie später über Kontrollgruppe freigeben hinzufügen möchten.

Schutzregeln für Experimente

• Nur Conversion-Ereignis-Outcomes können Personen messen, die nie zu Kampagnenmitgliedern wurden.
• Solange die Kontrollgruppe einer Kampagne aktiv ist, darf nur eine geplante Aktion diese Kampagne als Ziel verwenden.
• Der Prozentsatz wird nach Beginn des Experiments gesperrt, um dessen Gültigkeit zu schützen.
• Eine Kontrollgruppe schließt Personen nur aus dieser Kampagne aus; andere Aktivitäten können den Vergleich weiterhin beeinflussen.
• Bei kleinen Stichproben wird keine übermäßig sichere Aussage zum Lift getroffen.

Kausales Ergebnis

Anders als die organisationsweiten Durchschnittsvergleiche an anderer Stelle unter Outcomes ist das Ergebnis für behandelte Gruppe und Kontrollgruppe darauf ausgelegt, den Kampagnen-Lift zu schätzen.

Für Administratoren

In den CAB-Einstellungen gibt es keinen separaten Schalter für Kontrollgruppen. Die Funktion verwendet die im vorherigen Abschnitt beschriebene Outcome-Einrichtung: Verfolgung von Mitgliederänderungen, den nächtlichen Outcome-Messjob und eine kompatible Conversion-Definition.