{"id":112412,"date":"2021-08-20T14:45:44","date_gmt":"2021-08-20T14:45:44","guid":{"rendered":"https:\/\/staging.wingify.com\/blog\/1000-experiments-club-ronny-kohavi-3\/"},"modified":"2026-09-10T20:08:53","modified_gmt":"2026-09-10T14:38:53","slug":"1000-experiments-club-ronny-kohavi-3","status":"publish","type":"post","link":"https:\/\/wingify.com\/blog\/fr\/1000-experiments-club-ronny-kohavi-3\/","title":{"rendered":"1,000 Experiments Club : Une conversation avec Ronny Kohavi (Ex Airbnb, Microsoft et Amazon)"},"content":{"rendered":"\n

L’un des pionniers de l’exp\u00e9rimentation nous fait part d’une r\u00e9alit\u00e9 qui fait r\u00e9fl\u00e9chir : la plupart des id\u00e9es sont vou\u00e9es \u00e0 l’\u00e9chec (et c’est une bonne chose)<\/strong><\/h2>\n\n\n\n

Peu de personnes ont accumul\u00e9 autant d’exp\u00e9rience que Ronny Kohavi en mati\u00e8re d’exp\u00e9rimentation. Son travail chez des g\u00e9ants de la tech tels qu’Amazon, Microsoft et Airbnb – pour n’en citer que quelques-uns – a permis de construire les fondations de ce qui est aujourd’hui l’exp\u00e9rimentation digitale.<\/span><\/p>\n\n\n\n

Avant que l’id\u00e9e de “build fast, deploy often” ne s’impose dans les entreprises techs, les d\u00e9veloppeurs suivaient un mod\u00e8le en cascade qui pr\u00e9voyait des releases moins nombreuses (parfois tous les 2 ou 3 ans). Le raccourcissement des cycles de d\u00e9veloppement au d\u00e9but des ann\u00e9es 2000, gr\u00e2ce \u00e0 la m\u00e9thodologie Agile et \u00e0 une hausse de l’exp\u00e9rimentation digitale, a cr\u00e9\u00e9 la temp\u00eate parfaite pour une r\u00e9volution du d\u00e9veloppement logiciel – et Ronny \u00e9tait au centre de tout cela.<\/span><\/p>\n\n\n\n

Marylin Montoya, VP Marketing d’Wingify, a voulu d\u00e9couvrir les d\u00e9buts de l’exp\u00e9rimentation avec Ronny et pourquoi l’\u00e9chec est en fait une bonne chose. Voici quelques-unes des principales conclusions de leur conversation.<\/span><\/p>\n\n\n\n

.<\/span><\/p>\n\n\n\n

<\/h3>\n\n\n\n

<\/p>\n\n\n\n

<\/h3>\n\n\n\n

Les d\u00e9ploiements progressifs comme filet de s\u00e9curit\u00e9<\/b><\/h3>\n\n\n\n

Un cycle typique d’exp\u00e9rimentation consiste \u00e0 exposer le test \u00e0 50 % de la population pendant deux semaines en moyenne avant une diffusion progressive. Mais Ronny sugg\u00e8re d’aborder la question d’un point de vue diff\u00e9rent. Commencer par une petite audience de seulement 2 % avant de passer \u00e0 50 %. La mont\u00e9e en puissance plus lente vous donne le temps de d\u00e9tecter tout probl\u00e8me flagrant ou une d\u00e9gradation des valeurs des m\u00e9triques en temps quasi r\u00e9el.<\/span><\/p>\n\n\n\n

Dans une exp\u00e9rience, nous pouvons nous concentrer sur deux fonctionnalit\u00e9s seulement, mais nous disposons d’un large ensemble de garde-fous qui sugg\u00e8rent que nous ne devrions pas d\u00e9grader X, Y ou Z. Les donn\u00e9es statistiques que vous recueillez peuvent \u00e9galement sugg\u00e9rer que vous avez un impact sur quelque chose que vous ne vouliez pas. D’o\u00f9 l’utilisation de d\u00e9ploiements progressifs qui permettent d’identifier les facteurs externes et de rollback facilement.<\/span><\/p>\n\n\n\n

C’est comme si vous faisiez refroidir de l’eau : vous vous rendez compte que vous changez la temp\u00e9rature, mais ce n’est que lorsque vous atteignez 0\u00baC que la glace se forme. Vous r\u00e9alisez soudain que lorsque vous atteignez un certain point, quelque chose de tr\u00e8s important se produit. Ainsi, le fait de d\u00e9ployer \u00e0 une vitesse s\u00fbre et de surveiller les r\u00e9sultats peut conduire \u00e0 d’\u00e9normes am\u00e9liorations.<\/span><\/p>\n\n\n\n

<\/h3>\n\n\n\n

Votre id\u00e9e g\u00e9niale ? Elle va tr\u00e8s probablement \u00e9chouer.<\/b><\/h3>\n\n\n\n

Rien ne vous permet de mieux v\u00e9rifier la r\u00e9alit\u00e9 que l’exp\u00e9rimentation \u00e0 grande \u00e9chelle. Tout le monde pense qu’il fait le meilleur travail du monde jusqu’\u00e0 ce qu’il soit entre les mains de ses utilisateurs. C’est \u00e0 ce moment-l\u00e0 que le vrai feedback entre en jeu.<\/span><\/p>\n\n\n\n

Plus de deux tiers des id\u00e9es ne parviennent pas \u00e0 faire \u00e9voluer les param\u00e8tres qu’elles \u00e9taient cens\u00e9es am\u00e9liorer – une statistique que Ronny partage avec nous depuis son passage chez Microsoft, o\u00f9 il a fond\u00e9 l’\u00e9quipe d’exp\u00e9rimentation, compos\u00e9e de plus de 100 data scientists, d\u00e9veloppeurs et responsables de programmes.<\/span><\/p>\n\n\n\n

Cependant, ne vous laissez pas d\u00e9courager. Dans le monde de l’exp\u00e9rimentation, l’\u00e9chec est une bonne chose. \u00c9chouer rapidement, pivoter rapidement. Le fait de se rendre compte que la direction dans laquelle vous vous engagez n’est pas aussi prometteuse que vous le pensiez vous permet d’utiliser ces nouvelles d\u00e9couvertes pour enrichir vos prochaines actions.<\/span><\/p>\n\n\n\n

Chez Airbnb, l’\u00e9quipe d’exp\u00e9rimentation de Ronny a d\u00e9ploy\u00e9 de nombreux algorithmes d’apprentissage automatique pour am\u00e9liorer la recherche. Sur 250 id\u00e9es test\u00e9es dans le cadre d’exp\u00e9riences contr\u00f4l\u00e9es, seules 20 d’entre elles se sont av\u00e9r\u00e9es avoir un impact positif sur les param\u00e8tres cl\u00e9s – ce qui signifie que plus de 90 % des id\u00e9es n’ont pas r\u00e9ussi \u00e0 faire bouger l’aiguille. En revanche, qu’en est-il des 20 id\u00e9es qui ont connu un certain succ\u00e8s ? Elles ont permis d’am\u00e9liorer de 6 % la conversion des r\u00e9servations, ce qui repr\u00e9sente des centaines de millions de dollars.<\/span><\/p>\n\n\n\n

Le starter pack pour l’exp\u00e9rimentation<\/b><\/h3>\n\n\n\n

Il est plus facile aujourd’hui de convaincre les dirigeants d’investir dans l’exp\u00e9rimentation, car il existe de nombreux cas d’utilisation r\u00e9ussis. Le conseil de Ronny est de commencer avec une \u00e9quipe qui dispose d’un capital d’it\u00e9ration. Si vous \u00eates en mesure d’effectuer davantage d’exp\u00e9riences et qu’un certain pourcentage d’entre elles sont r\u00e9ussies ou \u00e9chou\u00e9es, cette capacit\u00e9 \u00e0 essayer des id\u00e9es est essentielle.<\/span><\/p>\n\n\n\n

Choisissez un sc\u00e9nario dans lequel vous pouvez facilement int\u00e9grer le processus d’exp\u00e9rimentation dans le cycle de d\u00e9veloppement, puis passez \u00e0 des sc\u00e9narios plus complexes. La valeur de l’exp\u00e9rimentation est plus claire car les d\u00e9ploiements sont plus fr\u00e9quents. Si vous travaillez dans une \u00e9quipe qui effectue des d\u00e9ploiements tous les six mois, il n’y a pas beaucoup de marge de man\u0153uvre car tout le monde a d\u00e9j\u00e0 investi ses efforts dans l’id\u00e9e que la fonctionnalit\u00e9 ne peut pas \u00e9chouer. Ce qui, comme Ronny l’a soulign\u00e9 plus t\u00f4t, a une faible probabilit\u00e9 de succ\u00e8s.<\/span><\/p>\n\n\n\n

L’exp\u00e9rimentation convient-elle \u00e0 toutes les entreprises ? La r\u00e9ponse courte est non. Une entreprise doit disposer de certains ingr\u00e9dients pour pouvoir tirer profit de l’exp\u00e9rimentation. L’un de ces ingr\u00e9dients est d’\u00eatre dans un domaine o\u00f9 il est facile d’apporter des changements, comme les services pour les sites Web ou les logiciels. Le deuxi\u00e8me ingr\u00e9dient est qu’il faut un nombre suffisant d’utilisateurs. Une fois que vous avez des dizaines de milliers d’utilisateurs, vous pouvez commencer \u00e0 exp\u00e9rimenter et \u00e0 le faire \u00e0 grande \u00e9chelle. Enfin, assurez-vous de disposer de r\u00e9sultats fiables pour prendre vos d\u00e9cisions.<\/span><\/p>\n\n\n\n

<\/h3>\n\n\n\n

Que pouvez-vous apprendre d’autre de notre conversation avec Ronny Kohavi<\/a> ?<\/b><\/h3>\n\n\n\n