Kampagnenwirkung mit einer Kontrollgruppe messen

Kampagnenwirkung von Zufall trennen

Eine beobachtete Conversion beantwortet die Frage „Was ist geschehen?“. Ein Kontrollgruppenexperiment beantwortet die schwierigere Frage: „Was ist aufgrund dieser Kampagne geschehen?“. CAB hält einen stabilen Anteil wirklich neuer Mitglieder als Kontrollgruppe zurück und vergleicht deren Conversion-Rate mit der Kampagnengruppe, deren Mitglieder der Kampagne hinzugefügt werden.

Experiment starten

1. Konfigurieren Sie eine geplante Aktion zum Hinzufügen zu einer Kampagne mit mindestens einem kompatiblen Conversion-Outcome.
2. Geben Sie unter Kontrollgruppe reservieren (%) einen Prozentsatz ein. CAB zeigt eine Vorschau als ~… von … Personen werden für diese Kampagne nicht kontaktiert.
3. Speichern Sie den Zeitplan. Bei wiederkehrenden Ausführungen bleiben dieselben Personen zurückgehalten; neue Mitglieder werden bei ihrem ersten Auftreten zugewiesen.
4. Öffnen Sie Ergebnisse oder den Outcome-Abschnitt der Ausführung, um Conversion-Faktor ggü. Kontrollgruppe und Kampagnenwirkung gegenüber Kontrollgruppe zu prüfen.

Der Kontrollgruppenvergleich trennt Kampagnengruppe und Kontrollgruppe, zeigt beide Stichprobengrößen und kennzeichnet das Ergebnis als signifikant, nicht signifikant, Stichprobe zu klein oder teilweise – wird noch gemessen.

Ergebnis verstehen

Der Conversion-Faktor ggü. Kontrollgruppe teilt die Conversion-Rate der Kampagnengruppe durch die Conversion-Rate der Kontrollgruppe. Ein Faktor von 1,0× bedeutet gleiche Conversion-Raten; ein höherer Wert spricht für eine positive, ein niedrigerer für eine negative Kampagnenwirkung.

Konvertieren beispielsweise 12 % der Kampagnengruppe und 5 % der Kontrollgruppe, zeigt CAB einen Conversion-Faktor von 2,4×. Das entspricht einer relativen Steigerung von 140 % und einem absoluten Unterschied von +7 Pp.. Ein Faktor von 2,4× bedeutet daher nicht „240 % Steigerung“.

CAB berechnet den Faktor nur, wenn beide Gruppen mindestens 30 Personen enthalten und die Conversion-Rate der Kontrollgruppe größer als null ist. signifikant bedeutet, dass der Unterschied die 95-%-Schwelle eines Tests für zwei Anteilswerte überschreitet; die Kennzeichnung beschreibt die statistische Evidenz und nicht die Größe der Kampagnenwirkung.

Experiment prüfen oder abschließen

Wählen Sie Kontrollgruppe anzeigen / exportieren, um Mitglieder der Kontrollgruppe zu öffnen. Soll das Experiment enden, verwenden Sie Kontrollgruppe freigeben. Nach der Bestätigung werden die zurückgehaltenen Mitglieder bei der nächsten Ausführung zur Kampagne hinzugefügt und die Messung der Kampagnenwirkung wird beendet. Dies kann nicht rückgängig gemacht werden.

Kontrollgruppe für eine einzelne manuelle Hinzufügung reservieren

Auch der normale Ablauf Zur Kampagne hinzufügen zeigt Kontrollgruppe reservieren (%), wenn Outcome Tracking verfügbar ist. Geben Sie vor dem Bestätigen der Aktion einen Prozentsatz ein. CAB teilt diese eine Aktivierung auf und zeigt im Outcome-Abschnitt ihres Ausführungsverlaufs … in dieser Ausführung zurückgehalten.

Eine manuelle Kontrollgruppe ist eine einmalige Aufteilung und kein dauerhaftes Experiment. Es gibt keinen wiederkehrenden Zeitplan, über den die Mitglieder später freigegeben werden können, und die Zuweisung ist von einer anderen manuellen Hinzufügung unabhängig. Verwenden Sie den geplanten Ablauf, wenn dieselben Personen bei wiederholten Sendungen in der Kontrollgruppe bleiben sollen und Sie sie später über Kontrollgruppe freigeben hinzufügen möchten.

Schutzregeln für Experimente

• Nur Conversion-Ereignis-Outcomes können Personen messen, die nie zu Kampagnenmitgliedern wurden.
• Solange die Kontrollgruppe einer Kampagne aktiv ist, darf nur eine geplante Aktion diese Kampagne als Ziel verwenden.
• Der Prozentsatz wird nach Beginn des Experiments gesperrt, um dessen Gültigkeit zu schützen.
• Eine Kontrollgruppe schließt Personen nur aus dieser Kampagne aus; andere Aktivitäten können den Vergleich weiterhin beeinflussen.
• Bei kleinen Stichproben zeigt CAB keinen Conversion-Faktor.

Kausale Kampagnenwirkung

Anders als die organisationsweiten Durchschnittsvergleiche an anderer Stelle unter Outcomes ist der Vergleich von Kampagnengruppe und Kontrollgruppe darauf ausgelegt, die zusätzliche Wirkung der Kampagne zu schätzen.

Für Administratoren

In den CAB-Einstellungen gibt es keinen separaten Schalter für Kontrollgruppen. Die Funktion verwendet die im vorherigen Abschnitt beschriebene Outcome-Einrichtung: Verfolgung von Mitgliederänderungen, den nächtlichen Outcome-Messjob und eine kompatible Conversion-Definition.