Une marque met deux vidéos créateur en concurrence. L'une obtient un meilleur coût par résultat, le gagnant est déclaré, et le trimestre suivant de contenu se construit sur cette conclusion.
Sur un marché de cette taille, cette conclusion est en général inventée. Pas fausse exactement, simplement non étayée, et une décision prise sur des données non étayées ressemble exactement à une décision prise sur de vraies données.
Ce dont un test comparatif a réellement besoin
Un test comparatif compare des conversions, pas des vues. Pour distinguer une vraie différence d'une coïncidence, il faut un nombre significatif de conversions dans chaque variante, et significatif veut dire des centaines plutôt que des dizaines.
La plupart des campagnes portugaises n'en produisent pas autant en quinze jours. Elles en produisent assez pour voir une différence, ce qui n'est pas la même chose qu'assez pour s'y fier. Deux vidéos qui semblent séparées de vingt pour cent sur quarante conversions chacune échangeront fréquemment leurs places si on les laisse tourner une semaine de plus.
Ce n'est pas une raison d'arrêter de tester. C'est une raison d'arrêter de trancher là-dessus comme si c'était réglé.
Trois mesures qui marchent à petit volume
La question qui cesse d'être posée
Chaque entreprise a une question à laquelle elle répond sans arrêt: est-ce que ça rentre, combien de temps ça prend, est-ce difficile à installer, livrez-vous ici.
Si une vidéo fait son travail, cette question apparaît moins souvent dans les messages, et cela se mesure sans aucun outil. Comptez les demandes qui la contiennent un mois avant et un mois après. Une baisse est un vrai signal, parce qu'elle ne dépend pas du volume, elle dépend d'une même question qui arrive moins.
Le taux de réponse sur les envois
Si l'équipe commerciale glisse une vidéo dans un premier courriel, elle saura en quinze jours si davantage de gens répondent. C'est un petit échantillon et c'est une comparaison de la même liste, du même expéditeur et de la même offre, ce qui la rend bien plus propre qu'un test publicitaire.
Le fait que quelqu'un la réutilise
Le signal le plus sous-estimé du métier. Un contenu repris par les commerciaux, par un distributeur, par un partenaire revendeur ou par un salarié qui le publie lui-même est un contenu qui a résolu un problème que quelqu'un avait.
Personne ne transfère une vidéo qu'il juge médiocre. La réutilisation est un jugement porté par des gens qui ont quelque chose à perdre, et l'observer ne coûte rien.
| Ce qu'on peut mesurer | Est-ce que ça marche à petit volume | Ce que cela dit |
|---|---|---|
| Le coût par résultat entre deux vidéos | Rarement | Du bruit en général, du vrai parfois |
| La durée de visionnage et la complétion | Oui | Si l'ouverture fonctionne |
| La question qui disparaît des demandes | Oui | Si elle a répondu à quelque chose |
| Le taux de réponse sur la même liste | Oui | Si elle mérite de l'attention |
| La réutilisation interne, commerciale ou partenaire | Oui | Si elle est réellement utile |
| La croissance du nombre d'abonnés | Non | Presque rien sur le fait de vendre |
La dernière ligne mérite d'être dite franchement. Le nombre d'abonnés est le chiffre le plus facile à voir et le moins relié au fait que quelque chose se soit vendu, et c'est celui qu'on met le plus souvent dans un rapport parce qu'il bouge.
Ce qu'il ne faut pas comparer
Ne comparez pas une campagne portugaise à la même campagne sur un marché plus grand. Un pays cinq fois plus petit paraîtra toujours moins bon en chiffres absolus, et cette comparaison a tué plus de bon contenu local que n'importe quel choix créatif.
Ne comparez pas une vidéo faite pour un compte publicitaire à une vidéo faite pour une fiche produit. Elles avaient deux missions différentes et une seule pouvait produire un coût par résultat.
Et ne comparez pas ce mois-ci au même mois l'an dernier, sauf si rien d'autre n'a changé, ce qui n'est jamais vrai. Comparez le même contenu au même endroit sur une fenêtre plus longue, et acceptez que cette fenêtre doive être plus longue ici que les tableaux de bord ne le suggèrent.
La version honnête d'un rapport
Pour la plupart des marques de ce marché, un rapport mensuel utile tient en quatre lignes et ne contient aucun graphique.
Ce qu'on a publié. Ce qu'on a entendu en retour, y compris des commerciaux. Ce qu'on referait. Ce qu'on arrête. C'est assez pour se diriger, et c'est plus vrai qu'une page de pourcentages calculés sur des échantillons trop petits pour les porter.
Les équipes qui progressent le plus vite ne sont pas celles qui mesurent le mieux. Ce sont celles qui écrivent ce qu'elles attendaient avant de publier, et qui comparent ensuite à ce qui s'est passé.
