Un marchio mette due video di creator uno contro l'altro. Uno ottiene un costo per risultato migliore, si dichiara il vincitore, e il trimestre successivo di contenuti si costruisce su quella conclusione.
In un mercato di queste dimensioni quella conclusione è di solito inventata. Non esattamente sbagliata, semplicemente non sostenuta, e una decisione presa su dati non sostenuti si sente esattamente come una presa su dati veri.
Cosa serve davvero a un test comparativo
Un test comparativo confronta conversioni, non visualizzazioni. Per distinguere una differenza vera da una coincidenza serve un numero significativo di conversioni per variante, e significativo vuol dire centinaia e non decine.
La maggior parte delle campagne portoghesi non ne produce tante in quindici giorni. Ne produce abbastanza per vedere una differenza, che non è la stessa cosa che abbastanza per fidarsene. Due video che sembrano distanti il venti per cento con quaranta conversioni ciascuno si scambieranno spesso di posto se li lasci correre un'altra settimana.
Non è un motivo per smettere di testare. È un motivo per smettere di decidere su questo come se fosse chiuso.
Tre misure che funzionano a basso volume
La domanda che smette di essere fatta
Ogni attività ha una domanda a cui risponde di continuo: se ci sta, quanto ci vuole, se è difficile da installare, se consegnate qui.
Se un video sta facendo il suo lavoro, quella domanda compare meno nei messaggi, e questo si misura senza alcuno strumento. Conta le richieste che la contengono un mese prima e un mese dopo. Un calo è un segnale vero, perché non dipende dal volume, dipende dal fatto che la stessa domanda arriva meno.
Il tasso di risposta sugli invii
Se il commerciale mette un video in una prima mail, saprà in due settimane se risponde più gente. È un campione piccolo ed è un confronto sulla stessa lista, con lo stesso mittente e la stessa offerta, il che lo rende molto più pulito di un test pubblicitario.
Se qualcuno lo riutilizza
Il segnale più sottovalutato del mestiere. Un contenuto ripreso dai commerciali, da un distributore, da un partner di vendita o da un dipendente che lo pubblica da sé è un contenuto che ha risolto un problema di qualcuno.
Nessuno inoltra un video che ritiene mediocre. Il riutilizzo è un giudizio dato da persone che ci mettono la faccia, e osservarlo non costa niente.
| Cosa si può misurare | Funziona a basso volume? | Cosa ti dice |
|---|---|---|
| Costo per risultato tra due video | Di rado | Rumore quasi sempre, reale a volte |
| Tempo di visione e completamento | Sì | Se l'apertura funziona |
| La domanda che sparisce dalle richieste | Sì | Se ha risposto a qualcosa |
| Tasso di risposta sulla stessa lista mail | Sì | Se si guadagna attenzione |
| Riutilizzo interno da vendite o partner | Sì | Se è davvero utile |
| Crescita dei follower | No | Quasi nulla sul vendere |
L'ultima riga va detta chiaramente. Il numero di follower è il dato più facile da vedere e il meno legato al fatto che si sia venduto qualcosa, ed è quello che finisce più spesso in un report perché si muove.
Cosa non confrontare
Non confrontare una campagna portoghese con la stessa campagna in un mercato più grande. Un paese cinque volte più piccolo sembrerà sempre peggiore in numeri assoluti, e quel confronto ha ucciso più buoni contenuti locali di qualunque scelta creativa.
Non confrontare un video fatto per un account pubblicitario con uno fatto per una scheda prodotto. Avevano compiti diversi e solo uno dei due poteva produrre un costo per risultato.
E non confrontare questo mese con lo stesso mese dell'anno scorso, a meno che non sia cambiato nient'altro, il che non è mai vero. Confronta lo stesso contenuto nello stesso posto su una finestra più lunga, e accetta che qui quella finestra debba essere più lunga di quanto suggeriscano i cruscotti.
La versione onesta di un report
Per la maggior parte dei marchi di questo mercato, un report mensile utile ha quattro righe e nessun grafico.
Cosa abbiamo pubblicato. Cosa ci è tornato indietro, comprese le vendite. Cosa rifaremmo. Cosa stiamo fermando. Basta questo per orientarsi, ed è più veritiero di una pagina di percentuali calcolate su campioni troppo piccoli per reggerle.
Le squadre che migliorano più in fretta non sono quelle che misurano meglio. Sono quelle che scrivono cosa si aspettavano prima di pubblicare, e lo confrontano poi con quello che è successo.
