Uma marca põe dois vídeos de criador a competir. Um consegue melhor custo por resultado, declara-se o vencedor, e o trimestre seguinte de conteúdo constrói-se sobre essa conclusão.
Num mercado deste tamanho essa conclusão está em geral inventada. Não exatamente errada, apenas sem suporte, e uma decisão tomada sobre dados sem suporte sabe exatamente ao mesmo que uma decisão tomada sobre dados verdadeiros.
O que um teste comparativo precisa mesmo
Um teste comparativo compara conversões, não visualizações. Para distinguir uma diferença real de uma coincidência é preciso um número significativo de conversões em cada variante, e significativo quer dizer centenas e não dezenas.
A maioria das campanhas portuguesas não produz isso em quinze dias. Produz o suficiente para se ver uma diferença, o que não é o mesmo que o suficiente para confiar nela. Dois vídeos que parecem separados por vinte por cento com quarenta conversões cada trocam de lugar com frequência se andarem mais uma semana.
Não é razão para deixar de testar. É razão para deixar de decidir com base nisso como se estivesse resolvido.
Três medidas que funcionam com pouco volume
A pergunta que deixa de ser feita
Todos os negócios têm uma pergunta a que respondem sem parar: se cabe, quanto tempo demora, se é difícil de instalar, se entregam cá.
Se um vídeo está a fazer o seu trabalho, essa pergunta aparece menos nas mensagens, e isso mede-se sem ferramenta nenhuma. Conte os pedidos que a contêm um mês antes e um mês depois. Uma descida é um sinal a sério, porque não depende do volume, depende de a mesma pergunta chegar menos.
A taxa de resposta nos envios
Se a equipa comercial puser um vídeo num primeiro email, saberá em duas semanas se responde mais gente. É uma amostra pequena e é uma comparação da mesma lista, do mesmo remetente e da mesma oferta, o que a torna bem mais limpa do que um teste publicitário.
Se alguém o reutiliza
O sinal mais subestimado do ofício. Um conteúdo que é aproveitado pelos comerciais, por um distribuidor, por um parceiro de retalho ou por um funcionário que o publica sozinho é um conteúdo que resolveu um problema que alguém tinha.
Ninguém reencaminha um vídeo que acha medíocre. A reutilização é um juízo feito por pessoas que têm algo em jogo, e observá-la não custa nada.
| O que se pode medir | Funciona com pouco volume? | O que diz |
|---|---|---|
| Custo por resultado entre dois vídeos | Raramente | Ruído quase sempre, real às vezes |
| Tempo de visionamento e conclusão | Sim | Se a abertura funciona |
| A pergunta que desaparece dos pedidos | Sim | Se respondeu a alguma coisa |
| Taxa de resposta na mesma lista de email | Sim | Se merece atenção |
| Reutilização interna, comercial ou por parceiros | Sim | Se é mesmo útil |
| Crescimento de seguidores | Não | Quase nada sobre vender |
A última linha merece ser dita com franqueza. O número de seguidores é o valor mais fácil de ver e o menos ligado a ter-se vendido alguma coisa, e é o que mais vezes acaba num relatório porque se mexe.
O que não comparar
Não compare uma campanha portuguesa com a mesma campanha num mercado maior. Um país cinco vezes mais pequeno vai parecer sempre pior em números absolutos, e essa comparação matou mais bom conteúdo local do que qualquer escolha criativa.
Não compare um vídeo feito para uma conta publicitária com um feito para uma ficha de produto. Tinham trabalhos diferentes e só um deles ia produzir um custo por resultado.
E não compare este mês com o mesmo mês do ano passado a não ser que mais nada tenha mudado, o que nunca é verdade. Compare o mesmo conteúdo no mesmo sítio ao longo de uma janela mais longa, e aceite que cá essa janela tem de ser mais longa do que os painéis sugerem.
A versão honesta de um relatório
Para a maioria das marcas deste mercado, um relatório mensal útil tem quatro linhas e nenhum gráfico.
O que publicámos. O que ouvimos de volta, incluindo dos comerciais. O que repetiríamos. O que estamos a parar. Isso chega para navegar, e é mais verdadeiro do que uma página de percentagens calculadas sobre amostras pequenas de mais para as suportar.
As equipas que melhoram mais depressa não são as que medem melhor. São as que escrevem o que esperavam antes de publicar, e comparam depois com o que aconteceu.
