Wirkung von Marketing-Änderungen messen und belegen, was funktioniert hat

Was bedeutet es, die Wirkung einer Marketing-Änderung zu messen?

Die Wirkung einer Änderung zu messen heißt, den Unterschied zwischen dem zu schätzen, was nach der Änderung passiert ist, und dem, was ohne sie passiert wäre. Die zweite Zahl steht in keinem Bericht. Jede Methode ist daher ein Weg, sie glaubwürdig zu schätzen.

Es gibt drei Evidenzstufen, und Sie sollten wissen, welche Sie nutzen, bevor Sie ein Ergebnis präsentieren:

Die meisten Teams bleiben bei der ersten Stufe und diskutieren dann im nächsten Meeting. Der Rest des Artikels zeigt, wie Sie mit den vorhandenen Daten eine Stufe höher kommen.

Wie richten Sie einen belastbaren Vorher-nachher-Vergleich ein?

Nutzen Sie gleich lange Zeiträume, lassen Sie die unruhigen Tage direkt nach der Änderung weg und warten Sie, bis die Conversions nachgelaufen sind. Ein schlecht gewählter Zeitraum kann allein einen Effekt von 20 % erzeugen oder verdecken.

1. Halten Sie den genauen Zeitpunkt fest. Datum, Uhrzeit und Zeitzone. Wird eine Gebotsstrategie an einem Dienstag um 18:00 Uhr umgestellt, ist dieser Dienstag ein Mischtag; lassen Sie ihn in beiden Zeiträumen weg.
2. Vergleichen Sie gleich lange Zeiträume mit denselben Wochentagen. 14 Tage gegen 14 Tage oder 4 volle Wochen gegen 4 volle Wochen, damit Montage mit Montagen verglichen werden.
3. Überspringen Sie die Lernphase. Automatische Gebotsstrategien brauchen Zeit, um sich einzupendeln. In seinen eigenen Tests verwirft Google die ersten 7 Tage an Daten und beschreibt einen Zeitraum von 7 bis 14 Tagen, in dem die Daten schwanken können. Wenden Sie dieselbe Logik auf Ihre manuellen Auswertungen an.
4. Warten Sie die Conversion-Verzögerung ab. Google Ads kann Conversions je nach Conversion-Zeitraum bis zu 90 Tage nach dem Klick erfassen. Die letzten Tage sehen schlechter aus, als sie am Ende sein werden, weil ein Teil der Klickenden noch nicht konvertiert hat. Im Segment Conversions > Tage bis zur Conversion sehen Sie, wie lange Ihre Kunden üblicherweise brauchen.
5. Notieren Sie den erwarteten Effekt vorab. Legen Sie fest, welche Kennzahl sich in welche Richtung und ungefähr wie stark bewegen soll, bevor Sie auf das Ergebnis schauen. So vermeiden Sie, sich die Kennzahl auszusuchen, die zufällig gut aussieht.

Beispiel: Ein Team stellt die Landingpage einer Suchkampagne an einem Mittwoch um 10:00 Uhr um. Es vergleicht die 28 Tage davor mit den Tagen 8 bis 35 danach und wertet die Conversions erst aus, wenn die Klicks älter sind als die übliche Zeit bis zur Conversion.

Wie nutzen Sie eine Kontrollgruppe, wenn kein Test möglich ist?

Wählen Sie etwas, das Sie nicht geändert haben und das sich normalerweise genauso entwickelt wie das Geänderte, und ziehen Sie dessen Entwicklung ab. Was übrig bleibt, ist eine deutlich bessere Schätzung der Wirkung.

Brauchbare Kontrollgruppen im Marketing:

• Eine ähnliche Kampagne oder Anzeigengruppe, die unverändert blieb
• Ein Bundesland, ein Land oder eine Filiale, in der die Änderung nicht ausgerollt wurde
• Eine Produktlinie oder Dienstleistung mit derselben Saisonalität
• Dieselben Wochen des Vorjahres, bei saisonalen Geschäften

Beispiel mit fiktiven Zahlen:

Ein reiner Vorher-nachher-Vergleich würde der neuen Seite 15 % Steigerung zuschreiben. Die Kontrollgruppe zeigt, dass der Markt alles um etwa 8 % angehoben hat; die Seite erklärt also ungefähr die restlichen 7 %. Das ist die Idee hinter einer Difference-in-Differences-Auswertung.

Formaler geht es mit dem Open-Source-Paket CausalImpact von Google, das aus Kontroll-Zeitreihen ein kontrafaktisches Szenario berechnet. Die Dokumentation nennt die Bedingungen klar: Die Kontrollreihen dürfen von der Maßnahme nicht beeinflusst sein, und ihr Zusammenhang mit Ihrer Kennzahl muss nach der Änderung stabil bleiben. Andernfalls kann das Modell die Wirkung über- oder unterschätzen.

Wann lohnt sich ein echter Test?

Testen Sie, wenn die Entscheidung teuer oder schwer rückgängig zu machen ist, etwa eine neue Gebotsstrategie, die Umstellung auf weitgehend passende Keywords oder eine neue Landingpage für Ihre größte Kampagne. Laufen beide Versionen gleichzeitig, fallen Saisonalität und Marktschwankungen aus dem Vergleich heraus.

In Google Ads sind benutzerdefinierte Tests für Such-, Display-, Video- und Hotelkampagnen verfügbar, nicht aber für App- oder Shopping-Kampagnen. Sie finden sie unter Kampagnen > Tests. Punkte aus der Google-Hilfe, die für eine saubere Auswertung zählen:

• Google empfiehlt eine Budgetaufteilung von 50 % für den besten Vergleich.
• Die Aufteilung Auf Basis von Cookies zeigt jedem Nutzer nur eine Version; die Aufteilung Auf Basis von Suchanfragen erreicht unter Umständen schneller Signifikanz, Nutzer können aber beide Versionen sehen.
• Lassen Sie den Test mindestens 4 bis 6 Wochen laufen, bei langer Conversion-Verzögerung länger.
• Führen Sie nicht mehrere Tests gleichzeitig durch und ändern Sie Budgets oder Zielvorgaben während der Laufzeit nicht häufig.
• Die Traffic-Aufteilung lässt sich nach dem Start nicht mehr ändern.

Ein nicht eindeutiges Ergebnis ist ebenfalls ein Ergebnis: Die Änderung hat keinen Effekt erzeugt, der bei Ihrem Volumen messbar wäre. Google selbst rät, Kampagnen mit hohem Volumen zu wählen und länger zu testen.

Warum machen überlappende Änderungen die Messung wertlos?

Fallen zwei Änderungen in denselben Zeitraum, lassen sich ihre Effekte nicht trennen, egal wie gut die Methode ist. Überlappung ist der häufigste Grund, warum eine Messung scheitert.

Bevor Sie ein Ergebnis lesen, isolieren Sie die Ursache:

1. Bringen Sie alle Änderungen auf eine gemeinsame Zeitachse. Inklusive der Tage davor und danach: Änderungen Ihres Teams in Google Ads, Meta Ads und anderen Plattformen, automatisch angewendete Empfehlungen, Anpassungen durch Smart Bidding oder Advantage+, Website-Releases, Tag- und Consent-Änderungen, Änderungen im CRM oder in der Lead-Verteilung, Preise und externe Ereignisse.
2. Schließen Sie zuerst das Tracking aus. Ein defektes Tag, eine doppelte Conversion oder ein neues Cookie-Banner können wie eine Leistungsänderung aussehen. Prüfen Sie, ob die Conversions in der Werbeplattform, in GA4 und im CRM noch übereinstimmen.
3. Prüfen Sie eine Hypothese nach der anderen. Zeigt die Zeitachse eine zweite Änderung im Zeitraum, verkürzen Sie den Zeitraum oder berichten Sie beide gemeinsam und sagen Sie das offen.

Der Änderungsverlauf in Google Ads deckt Kontoänderungen ab, nicht aber Website, Tracking oder CRM. Saisonale Schwankungen sind eine weitere Überlappung; lesen Sie dazu wie Sie Saisonalität von eigenen Änderungen unterscheiden.

Wie dokumentieren Sie eine Änderung, damit sie später messbar ist?

Dokumentieren Sie die Änderung in dem Moment, in dem Sie sie vornehmen, so genau, dass jemand sie einen Monat später ohne Rückfrage auswerten kann. Gedächtnis und Chatverläufe überstehen den nächsten Bericht nicht.

Halten Sie mindestens fest:

• Datum, Uhrzeit und Zeitzone
• Verantwortliche Person und Kunde oder Projekt
• Was sich geändert hat, als vorher → nachher (zum Beispiel Ziel-CPA 40 € → 32 €)
• Umfang: betroffenes Konto, Kampagnen, Seiten oder Regionen
• Hypothese und erwarteter Effekt
• Kennzahl, Zeitraum und Kontrollgruppe für die Auswertung sowie ein Prüftermin

In GA4 können Sie Berichten Notizen hinzufügen: Klicken Sie mit der rechten Maustaste auf einen Datenpunkt in einem Liniendiagramm, wählen Sie Vermerk hinzufügen und dann Vermerk erstellen. Der Titel ist auf 60 Zeichen begrenzt, die Beschreibung auf 150, und pro Property sind bis zu 1.000 Vermerke möglich; zum Erstellen brauchen Sie mindestens die Rolle „Analyst“. Das reicht als Markierung, nicht für den vollständigen Eintrag oben, und gilt nur für das, was Sie in GA4 ansehen. Mehr dazu im Ratgeber zu GA4-Vermerken.

Ein gemeinsames Marketing-Änderungsprotokoll hält alle Änderungen aus allen Plattformen auf einer Zeitachse pro Kunde fest. Changeline macht das heute mit manuellen Einträgen, Verantwortlichen, Tags und Begründungen; Sie können kostenlos ein Änderungsprotokoll anlegen, solange es sich im Early Access befindet.

Wie berichten Sie Kunden die Wirkung einer Änderung?

Berichten Sie Ergebnis, Evidenzstufe und Entscheidung in fünf Zeilen. Kunden vertrauen einer klaren Methode mehr als einer großen Zahl.

1. Änderung: was sich geändert hat, wann und durch wen.
2. Zeiträume: die Daten vorher und nachher, ohne Lernphase und Conversion-Verzögerung.
3. Kontrolle: womit Sie verglichen haben, oder dass es keine Kontrolle gab.
4. Ergebnis: der geschätzte Effekt und die Evidenzstufe (vorher-nachher, Kontrolle, Test).
5. Entscheidung: beibehalten, zurücknehmen oder den Test verlängern.

Ist das Ergebnis gemischt, sagen Sie das. „Nach 6 Wochen kein messbarer Effekt“ ist eine nützliche Erkenntnis, die Budget spart. Ist die Kennzahl gefallen statt gestiegen, helfen Ihnen die Schritte der Ursachenanalyse im Marketing und der Ratgeber, wie Sie einem Kunden einen Conversion-Rückgang erklären, das Gespräch zu strukturieren.