41 nuances de bleu : le test à 200 millions de Google

Imaginez une salle de réunion en Californie, à la fin des années 2000. Sur l’écran, deux rectangles bleus. Le premier tire légèrement vers le vert, le second légèrement vers le violet. Autour de la table, des designers parmi les meilleurs de la planète, payés pour avoir du goût, n’arrivent pas à se mettre d’accord.

« Le premier est plus lisible.
Le second est plus chaleureux.
Plus chaleureux ? C’est un lien publicitaire, pas une couverture en laine. »

Dans la plupart des entreprises, cette discussion se termine de la même manière : la personne la plus gradée tranche. On appelle ça la décision par HiPPO, pour « Highest Paid Person’s Opinion », l’avis de la personne la mieux payée de la pièce. Chez Google, la discussion s’est terminée autrement. Quelqu’un a proposé de ne pas choisir, et de laisser les utilisateurs choisir à leur place, sans qu’ils le sachent.

Une querelle de couleurs qui finit en expérience

Les faits, tels que Google les a racontés, sont assez simples. L’entreprise affichait des liens publicitaires bleus à côté de ses résultats de recherche. Quand elle a lancé la publicité dans Gmail, les équipes ont remarqué que le bleu des liens sponsorisés différait légèrement d’un produit à l’autre (Manchester Digital).

Il fallait harmoniser. Restait à savoir quel bleu garder.

Au lieu de trancher, Google a lancé ce que ses équipes appellent des expériences à 1 % : une petite fraction des utilisateurs voit une version, une autre fraction voit une autre version, et on compare les clics. Puis, pour couvrir toutes les possibilités, une quarantaine d’autres variantes ont été testées entre les deux bleus de départ (Manchester Digital). D’où le chiffre resté dans la légende : 41 nuances de bleu.

L’opération est associée au nom de Marissa Mayer, alors vice-présidente chargée des produits de recherche et de l’expérience utilisateur chez Google, ingénieure de formation et connue pour sa culture de la décision par la donnée. Le gagnant ? Un bleu légèrement plus violet, qui récoltait davantage de clics que la version plus verte (Manchester Digital).

Jusqu’ici, rien de spectaculaire. Une entreprise teste des couleurs et en garde une. Le spectaculaire arrive avec le chiffre.

200 millions de dollars, selon Google

En 2014, Dan Cobley, alors directeur général de Google au Royaume-Uni, raconte l’histoire lors d’un événement organisé par le cabinet d’avocats DLA Piper. Il oppose la culture de la donnée à la culture du HiPPO, puis lâche le montant : le changement de nuance aurait rapporté 200 millions de dollars de revenus publicitaires supplémentaires par an (Manchester Digital).

Le chiffre a fait le tour du monde. On le retrouve dans d’innombrables conférences et formations au marketing digital, en général sans la moindre précaution.

Je vais être direct, comme d’habitude : ce chiffre mérite votre méfiance.

Il provient d’une seule source, un dirigeant de Google qui défend la méthode de Google devant un public d’affaires. Aucun audit indépendant n’a été publié, et rien n’indique comment l’effet de la couleur a été isolé des autres changements effectués la même période. Le montant est peut-être exact. Il est peut-être arrondi généreusement. Nous n’en savons rien, et personne en dehors de Google n’en sait davantage.

Ceci ne disqualifie pas l’expérience. Sur des milliards d’affichages, un écart minuscule de taux de clic peut produire des sommes énormes, par simple arithmétique. Microsoft aurait d’ailleurs fait un calcul comparable pour Bing, avec une estimation de 80 à 90 millions de dollars de ventes publicitaires pour le meilleur bleu (Color Matters).

Remarquez pourtant le paradoxe. L’histoire est racontée pour célébrer la décision fondée sur les faits, et la plupart de ceux qui la répètent n’ont jamais vérifié le fait central. Le biais de confirmation fonctionne à plein régime : l’anecdote confirme ce que nous voulons croire sur la puissance des données, alors nous la gobons.

Le designer qui a claqué la porte

Il existe une autre version de cette histoire, beaucoup moins souvent racontée.

En mars 2009, Douglas Bowman, responsable du design visuel chez Google, quitte l’entreprise après près de trois ans. Il publie un texte d’adieu qui fait grand bruit dans le monde du design. Il y confirme que l’histoire est vraie : une équipe n’arrivait pas à choisir entre deux bleus, alors elle a testé 41 nuances entre les deux (Zeldman).

Bowman admet que la méthode fonctionne. Ce qui le dérange, c’est ce qu’elle fait à une culture. Selon lui, le design chez Google vivait ou mourait par l’épée de la donnée (ITPro). Il raconte aussi avoir dû débattre pour savoir si une bordure devait mesurer 3, 4 ou 5 pixels (Fortune). Pour lui, une telle dépendance aux données empêchait toute décision de design audacieuse, et son texte a déclenché un débat passionné sur le web (TechRadar).

Pour les uns, Google prouvait que le goût n’est qu’une opinion et qu’on peut remplacer les opinions par des mesures. Pour les autres, Google montrait qu’une organisation obsédée par la mesure finit par ne plus rien oser qui ne soit mesurable.

Les deux camps ont raison. Et c’est précisément ce qui rend l’histoire intéressante pour un dirigeant.

Optimiser un clic ou inventer un produit

Regardez attentivement ce que le test des 41 bleus a produit. Il a amélioré un élément existant d’un produit existant. Le lien publicitaire était déjà là, les utilisateurs aussi. La question posée aux données était étroite : parmi ces 41 options, laquelle maximise le clic ?

Dans mon livre, je décris le modèle des trois horizons. L’horizon 1 correspond aux activités établies : on cherche à augmenter les profits, avec des méthodes d’optimisation et une qualité qui doit être parfaite. L’horizon 3 correspond aux activités en définition : on cherche à prouver une viabilité, avec des méthodes de découverte et une qualité volontairement imparfaite (Mon livre, chapitre 12).

Ce livre s’adresse aux PDG, aux dirigeants et aux innovateurs prêts à tout remettre en question et à créer une croissance exponentielle.

Le test des 41 bleus est un cas d’école d’horizon 1. Il est remarquable dans sa catégorie. Il ne dit rien de l’horizon 3.

Aucun test A/B n’aurait inventé Gmail. Aucun test A/B n’aurait inventé l’iPhone. Un test A/B compare des options que quelqu’un a déjà imaginées, et trouve la meilleure parmi celles qu’on lui propose. Les spécialistes de l’optimisation appellent ça le risque du maximum local : vous grimpez efficacement la colline sur laquelle vous vous trouvez, sans jamais voir la montagne d’à côté.

Voilà le piège. Une organisation qui découvre la puissance des tests à 1 % peut être tentée de tout soumettre à cette méthode. Elle devient redoutable pour améliorer ce qui existe et se met à rejeter tout ce qui ne peut pas être prouvé à l’avance. Or une idée de rupture, par définition, n’a pas encore de données. Elle n’a que des hypothèses, qu’il faut tuer ou confirmer par des expérimentations d’un autre type, plus rapides et plus proches du terrain.

Bowman l’avait senti. Mayer avait raison sur son terrain. Le travail du dirigeant consiste à savoir dans quel horizon il joue au moment de décider.

Vos propres nuances de bleu

Revenons dans votre entreprise. Vous avez, vous aussi, vos querelles de bleus. Le texte du bouton d’inscription. Le prix affiché sur la page d’offre. L’objet de l’e-mail commercial. Le jour d’envoi de la newsletter.

Combien de ces décisions sont prises par le HiPPO de votre comité de direction ? Combien pourraient être tranchées par une expérience simple, en deux semaines, sur une fraction de vos clients ?

À l’inverse, combien de projets ambitieux sont tués dans l’œuf parce que quelqu’un exige des chiffres qui ne peuvent pas encore exister ?

Les biais cognitifs nous gouvernent en permanence. Pour en limiter les effets, privilégiez les faits et les retours d’expérimentation plutôt que l’émotion du moment, et différez la décision quand c’est possible (Mon livre, chapitre 6). Gardez cependant en tête que l’excès inverse existe. La paralysie par l’analyse guette les équipes à qui l’on demande toujours plus d’informations avant d’agir (Mon livre).

Je vous propose un exercice. Sur une échelle de 0 à 5, notez votre organisation sur deux critères :

  1. Sa capacité à trancher les décisions d’optimisation par l’expérimentation plutôt que par l’avis du plus gradé.
  2. Sa capacité à protéger les projets de rupture de l’exigence de preuves chiffrées prématurées.

Si vos deux notes sont très différentes, vous avez trouvé votre chantier. Pour ma part, j’ai longtemps cru qu’il suffisait de se protéger des mauvaises décisions avec des données. J’avais tort sur la moitié du problème.

L’essentiel

Retenez quatre choses :

  • Le test des 41 bleus est un excellent exemple d’optimisation : un débat de goûts remplacé par une expérience mesurée sur une petite fraction d’utilisateurs.
  • Le chiffre de 200 millions de dollars repose sur une seule déclaration d’un dirigeant de Google. Citez-le en précisant qu’il s’agit d’une estimation de Google.
  • Un test A/B choisit parmi des options existantes et n’en invente aucune. L’innovation de rupture demande d’autres méthodes.
  • Le danger guette des deux côtés : décider au HiPPO là où une expérience suffirait, et exiger des données là où elles ne peuvent pas encore exister.

Innover ou agoniser, c’est vous qui voyez. Et cette fois, vous pouvez même tester les deux.

Références

Image de Philippe Boulanger

Philippe Boulanger

Philippe Boulanger, conférencier international en innovation et intelligence artificielle, auteur, conseiller, mentor et consultant.

Latest POSTS

Robot caméra Beni : quand le drone perd le droit de voler

Interdit de survoler la foule, le drone bute sur la réglementation et le bruit. Le robot caméra Beni filme au sol. Un cas d’école sur le biais de cadrage.

Read More »

Vendredi 13 : pourquoi la superstition profite aux innovateurs

Le vendredi 13 ne détruit rien. Les gens qui le craignent changent de comportement, et ce changement se mesure. Accidents, bourse, virus Jerusalem, chiffre de 900 millions jamais vérifié : ce que la superstition révèle sur vos décisions d’innovation, et comment en tirer parti.

Read More »

Symbolisme phonétique : pourquoi « mal » sonne plus grand que « mil »

En 1929, Edward Sapir montre que la plupart des gens associent le mot inventé « mal » à une grande table et « mil » à une petite. Près d’un siècle plus tard, le symbolisme phonétique influence encore la perception des noms de produits. Ce que disent vraiment les chiffres, ce que le marketing en a tiré, et comment tester un nom avant de le choisir.

Read More »

Code généré par l’IA : qui comprend encore votre logiciel ?

Un an après avoir confié 100 % de son code à l’IA, une entreprise découvre que plus personne ne sait l’expliquer. Témoignage anonyme, études METR, GitClear et Veracode, et la méthode pour éviter le labyrinthe.

Read More »

Pourquoi l’inventeur du Coca-Cola n’a jamais fait fortune ?

John Pemberton a inventé le Coca-Cola en 1886 et il est mort pauvre deux ans plus tard. Trente-trois ans après le premier verre, l’entreprise valait 25 millions de dollars. Ce que cette histoire révèle de la différence entre invention et innovation, et du Pemberton qui sommeille peut-être dans votre entreprise.

Read More »

Moteur sans terres rares : la France avait 14 ans d’avance

Renault fabrique des moteurs sans terres rares depuis 2012. Puis le stator de son futur moteur E7A est parti en Chine. Comment une avance technologique se perd dans les arbitrages d’achat.

Read More »

Leeuwenhoek : le drapier qui a vu les microbes avant les savants

En 1676, un drapier de Delft sans formation universitaire découvre les microbes. La Royal Society ne le croit pas sur parole : elle vérifie, puis l’élit. Ce que l’histoire exacte de Leeuwenhoek apprend aux dirigeants sur les idées venues d’ailleurs.

Read More »

Le test du sel d’Edison est une légende. Son quiz, non.

Le test de la soupe salée attribué à Edison est une légende. Son questionnaire de 1921, lui, a recalé 686 candidats sur 718, et Einstein lui-même a buté sur l’une de ses questions. De la tasse de café de Xero à l’énigme de Musk, ce que ces tests mesurent vraiment, et ce que la science du recrutement recommande à la place.

Read More »

Êtes-vous un briseur de règles ?

Vous n’étiez pas censé trouver ceci.

Mais vous êtes là, parce que vous avez fait ce que la plupart des gens ne font pas : vous avez posé des questions, vous avez exploré, vous avez cliqué sur ce que vous n’étiez pas sûr de devoir cliquer.

C’est l’Intelligence Innovationnelle® en action.

La plupart des gens restent à l’intérieur des lignes. Ils suivent le chemin prévu. Cliquent sur les boutons évidents. Acceptent les choses telles qu’elles sont.

Pas vous.

Vous faites partie de ces rares esprits qui refusent d’accepter que « on a toujours fait comme ça ».

Nous avons besoin de plus de personnes qui pensent comme vous.

Voici donc votre récompense pour avoir colorié en dehors des lignes :

Bénéficiez d’un accès VIP en avant-première au prochain assessment sur l’Intelligence Innovationnelle® :

Vous serez le premier à savoir quand il sera disponible.

Continuez à briser les règles. Le monde a besoin de ce que vous voyez.

Votre dose d'Intelligence Innovationnelle® tous les jours (ou presque) !

Recevez dans votre boîte e-mail ma publication du jour avant tout le monde.