Qui ?
Todd Yellin, VP of Product Innovation de Netflix.
Quoi ?
Ce que Netflix a appris en dix ans d'AB Testing, lors d'une présentation à SXSW 2015.
Comment ?
"L'AB testing, ce n'est pas juste montrer deux versions d'un même produit et observer ce qu'il se passe. C'est une question d'expérience" explique Todd Yellin. En dix ans d'AB testing chez Netflix, il a retenu de nombreuses leçons. La première est de définir à l'avance les indicateurs que l'on veut mesurer. Chez Netflix, c'est simple : le principal objectif est la rétention des clients, suivi par l'augmentation du temps passé à regarder des films et séries.
Pour améliorer l'expérience utilisateur et notamment le moteur de recommandation, les équipes ont avancé par tâtonnement. Au début, elles s'intéressaient aux caractéristiques socio-démographiques des utilisateurs. Avant de se rendre compte qu'une mère de famille pouvait très bien se passionner pour une série pour ados. "Ces critères étaient finalement assez peu importants. Donc on a décidé de demander aux gens ce qu'ils souhaitaient." Des dizaines de milliers d'utilisateurs ont ainsi demandé à pouvoir noter les programmes avec des demi-étoiles. Mais l'AB testing s'est révélé désastreux : avec les demi-étoiles, le nombre de notes a fortement diminué : l'effet inverse de celui attendu ! "Il y avait plus de choix, donc plus de travail pour les utilisateurs." D'où le principal enseignement de Netflix : "Ce qui compte, ce n'est pas qui sont les gens ou ce qu'ils vous disent, mais ce qu'ils font."
Le service de SVOD pratique deux types d'AB testing : l'incrémental et le "Mountain testing". Le premier revient à tester l'impact de petits changements, mais sans aller jusqu'à mettre en concurrence 50 nuances de bleu, comme Marissa Mayer chez Google. "Nous faisons de l'AB Testing incrémental uniquement sur des sujets qui ont un impact sur notre business : c'est la stratégie de l'entreprise qui guide nos expérimentations." Exemple : en 2009, quand l'entreprise amorce sont pivot stratégique, c'est l'AB testing qui a permis de valider que le fait d'ajouter un bouton "watch immediatly" à coté des DVD en location n'affectait pas le taux de rétention des abonnés au service. La mise en scène des programmes reprend les principes du merchandising qui prévalait dans les magasins de location de DVD : elle évolue constamment.
Le "Mountain Testing", lui, est un moyen de faire des changements majeurs dans l'expérience utilisateur. Il a notamment été appliqué au lancement de Netflix sur l'Apple TV en 2009. "A l'époque, l'interface utilisateur sur la TV était un champ totalement nouveau. Il fallait partir de zéro" se souvient Todd Yellin. Dans les premiers temps, quatre interfaces radicalement différentes ont été proposées aux utilisateurs du service. C'est finalement le design le plus simple qui a passé le test. Autre exemple de "Mountain Testing" : pour le redesign de la partie "kids", les équipes pensaient qu'un environnement plus coloré et plus fun, à la Disney, aurait un meilleur impact. Mais c'est tout le contraire qui s'est passé et l'expérience a été abandonné. "Nous avions passé des mois sur ce sujet, mais parfois, il vaut mieux tuer votre bébé." Une leçon d'humilité.
Benoit Zante
