Como medir o impacto de mudanças de marketing e provar que uma mudança funcionou

O que significa medir o impacto de uma mudança de marketing?

Medir o impacto de uma mudança é estimar a diferença entre o que aconteceu depois dela e o que teria acontecido sem ela. Esse segundo número nunca aparece no relatório, então todo método é uma forma de construir uma estimativa confiável dele.

Existem três níveis de evidência, e você precisa saber qual está usando antes de apresentar um resultado:

A maioria dos times só faz o primeiro e depois discute na reunião seguinte. O resto do artigo mostra como subir de nível com os dados que você já tem.

Como montar uma comparação de antes e depois que se sustenta?

Use janelas do mesmo tamanho, corte os dias instáveis logo após a mudança e espere as conversões chegarem. Uma janela mal escolhida pode criar ou esconder sozinha um efeito de 20%.

1. Anote o horário exato da mudança. Data, hora e fuso. Uma estratégia de lances trocada às 18h de uma terça deixa a terça misturada; tire esse dia das duas janelas.
2. Use janelas iguais com os mesmos dias da semana. Compare 14 dias com 14 dias, ou 4 semanas cheias com 4 semanas cheias, para comparar segunda com segunda.
3. Pule o período de aprendizado. Os lances automáticos precisam de tempo para estabilizar. Nos próprios experimentos, o Google descarta os primeiros 7 dias de dados e descreve um período de 7 a 14 dias em que os dados podem oscilar. Aplique a mesma lógica nas suas análises manuais.
4. Espere o atraso de conversão. O Google Ads pode registrar conversões até 90 dias depois do clique, conforme a janela de conversão. Os dias recentes parecem piores do que vão ficar, porque parte de quem clicou ainda não converteu. Confira o segmento Conversões > Dias até a conversão para ver quanto tempo seus clientes costumam levar.
5. Escreva o efeito esperado antes. Defina qual métrica deve mudar, em que direção e mais ou menos quanto, antes de olhar o resultado. Isso evita escolher a métrica que por acaso ficou bonita.

Exemplo: um time troca a landing page de uma campanha de pesquisa numa quarta às 10h. Ele compara os 28 dias anteriores com os dias 8 a 35 depois da troca e só lê as conversões quando os cliques já são mais antigos que o tempo habitual até a conversão.

Como usar um grupo de controle quando não dá para fazer teste?

Escolha algo que você não alterou e que costuma se mover junto com o que você alterou, e desconte o movimento dele. O que sobra é uma estimativa bem melhor do impacto.

Controles úteis em marketing:

• Uma campanha ou grupo de anúncios parecido que ficou intocado
• Uma região, estado ou loja onde a mudança não foi aplicada
• Uma linha de produto ou serviço com a mesma sazonalidade
• As mesmas semanas do ano anterior, para negócios sazonais

Exemplo com números ilustrativos:

Só com antes e depois, a nova página teria aumentado a taxa de conversão em 15%. O controle mostra que o mercado subiu tudo em cerca de 8%, então a página explica algo perto dos 7% restantes. Essa é a ideia de uma leitura de diferença em diferenças.

Para uma versão mais formal, o pacote open source CausalImpact, do Google, constrói um cenário contrafactual a partir de séries de controle. A documentação deixa claras as condições: os controles não podem ser afetados pela intervenção e a relação deles com sua métrica precisa continuar estável depois da mudança. Se isso falhar, o modelo pode superestimar ou subestimar o efeito.

Quando vale fazer um experimento de verdade?

Faça um experimento quando a decisão é cara ou difícil de desfazer, como uma nova estratégia de lances, a correspondência ampla ou uma nova landing page na maior campanha. Rodar as duas versões ao mesmo tempo tira a sazonalidade e o mercado da comparação.

No Google Ads, os experimentos personalizados estão disponíveis para campanhas de pesquisa, display, vídeo e hotel, mas não para campanhas de app ou Shopping. Eles ficam em Campanhas > Experimentos. Pontos da ajuda do Google que importam para uma leitura limpa:

• O Google recomenda dividir o orçamento em 50% para a melhor comparação.
• A divisão Com base em cookies mostra só uma versão para cada usuário; a divisão Com base em pesquisa pode chegar à significância mais rápido, mas o usuário pode ver as duas.
• Rode o experimento por pelo menos 4 a 6 semanas, mais se o atraso de conversão for longo.
• Não rode vários experimentos ao mesmo tempo e evite mudar orçamento ou metas com frequência durante o teste.
• A divisão de tráfego não pode ser alterada depois que o experimento começa.

Se o resultado vier inconclusivo, isso também é um resultado: a mudança não gerou um efeito grande o bastante para ser detectado no seu volume. O próprio Google sugere usar campanhas com mais volume e rodar por mais tempo.

Por que mudanças sobrepostas estragam a medição?

Se duas mudanças caem na mesma janela, você não consegue separar o efeito de cada uma, por melhor que seja o método. A sobreposição é o motivo mais comum de uma medição falhar.

Antes de ler qualquer resultado, isole a causa:

1. Coloque todas as mudanças numa única linha do tempo. Inclua os dias antes e depois: as edições do seu time no Google Ads, no Meta Ads e em outras plataformas, as recomendações aplicadas automaticamente, ajustes de Smart Bidding ou Advantage+, deploys do site, mudanças de tags e de consentimento, mudanças no CRM ou na distribuição de leads, preços e eventos externos.
2. Descarte o tracking primeiro. Uma tag quebrada, uma conversão duplicada ou um novo banner de cookies podem parecer mudança de desempenho. Confira se as conversões na plataforma de anúncios, no GA4 e no CRM ainda batem.
3. Teste uma hipótese por vez. Se a linha do tempo mostrar uma segunda mudança na janela, encurte a janela para evitá-la ou apresente as duas juntas, deixando isso claro.

O histórico de alterações do Google Ads cobre as edições da conta, mas não o site, o tracking ou o CRM. Oscilações sazonais são outra sobreposição; veja como separar sazonalidade das suas mudanças.

Como registrar uma mudança para conseguir medir depois?

Registre a mudança na hora em que ela é feita, com detalhe suficiente para alguém medir um mês depois sem precisar te perguntar. Memória e conversa de WhatsApp não sobrevivem ao próximo relatório.

Registre pelo menos:

• Data, hora e fuso horário
• Responsável e cliente ou projeto
• O que mudou, no formato antes → depois (por exemplo, CPA desejado 40 → 32)
• Escopo: conta, campanhas, páginas ou regiões afetadas
• Hipótese e efeito esperado
• Métrica, janela e controle que você vai usar, mais uma data de revisão

O GA4 permite adicionar notas aos relatórios: clique com o botão direito num ponto de um gráfico de linhas, escolha Adicionar anotação e depois Criar anotação. O título tem até 60 caracteres, a descrição até 150, e cada propriedade aceita até 1.000 anotações; é preciso ter o papel de Analista ou superior para criá-las. Isso serve como marcador, não como o registro completo acima, e só cobre o que você vê no GA4. Veja o guia de anotações do GA4.

Um registro de mudanças de marketing compartilhado mantém todas as mudanças, de todas as plataformas, numa única linha do tempo por cliente. O Changeline faz isso hoje com registros manuais, responsáveis, tags e motivos; você pode começar um registro de mudanças grátis enquanto ele está em acesso antecipado.

Como apresentar o impacto de uma mudança para o cliente?

Apresente o veredito, o nível de evidência e a decisão em cinco linhas. O cliente confia mais num método claro do que num número grande.

1. Mudança: o que mudou, quando e quem fez.
2. Janelas: as datas de antes e depois, sem o aprendizado e sem o atraso de conversão.
3. Controle: com o que você comparou, ou que não houve controle.
4. Resultado: o efeito estimado e o nível de evidência (antes e depois, controle, experimento).
5. Decisão: manter, reverter ou estender o teste.

Quando o resultado for misto, diga isso. "Sem efeito mensurável após 6 semanas" é uma conclusão útil que economiza verba. Se a métrica caiu em vez de subir, os passos da análise de causa raiz em marketing e o guia sobre como explicar uma queda de conversões ao cliente ajudam a estruturar a conversa.