Comment devenir un chef de produit qui exploite les données

Introduction

À l'ère du big data, on a l'impression que tout doit être basé sur les données, comme un incontournable présent dans presque toutes les fonctions de notre vie professionnelle et personnelle, et souvent sans aucune action pour le justifier. Mais en dépit de ce mot à la mode, les données restent essentielles dans le travail d'un chef de produit.

Or, il n'est pas évident de disposer de données compréhensibles et fiables, que vous pouvez relier au reste de vos systèmes et auxquelles vous pouvez accéder facilement et rapidement. Même si cet aspect restera toujours un défi, les chefs de produits doivent reconnaître l'opportunité qui se présente à eux : exploiter les données pour étayer leurs décisions, engendrer des idées éclairées et, en fin de compte, élaborer une meilleure expérience pour les clients.

Pour découvrir l'opinion des experts produit de tous niveaux, nous avons interrogé dix experts qui nous ont fait part de leur avis sur la relation qu'un chef de produit doit entretenir avec les données (appelé aussi chef de produit qui exploite les données, axé sur les données, ou autre appellation).

Entrons dans le vif du sujet.

Qu'est-ce qu'implique une approche basée sur les données ?

Dans le rapport de Pendo State of Product Leadership de 2020, les chefs de produits déclaraient que leur processus de décision reposait davantage sur les données que sur l'instinct. Néanmoins, comme pour bien d'autres aspects ayant trait aux produits, chaque chef de produit et chaque entreprise a ses méthodes et sa philosophie propres en matière de données.

Lorsque nous avons demandé aux experts en product ops ce que la gestion des produits basée sur les données signifiait pour eux, nous avons récolté des réponses certes variées, mais avec des points communs évidents.

Veuillez remplir le formulaire ci-dessous pour lire le reste de l'e-book.

Les réponses nous permettent de dégager quelques thèmes récurrents : s'appuyer sur les données pour prendre des décisions au service de vos clients, exploiter ces données tout au long du cycle de vie des produits, collecter les données sur divers canaux et équilibrer les données brutes avec l'instinct de chacun. Nous approfondirons chacun de ces thèmes dans la suite de l'e-book, mais commençons par un aspect absolument incontournable : le côté humain de l'analyse des données.

• Utiliser les données au bon moment
• Équilibrer les signaux
• Utiliser la bonne quantité de données
• Intuition
• Tout au long du cycle de vie du produit
• Des données exploitables
• Satisfaire aux besoins des clients
• Comprendre les utilisateurs
• Qualitatif et quantitatif
• Axé sur les données
• Servir de trait d'union au sein de l'entreprise

Il n'y a pas de gestion de produits axée sur les données sans chef de produit

Dans son dernier ouvrage, 21 Leçons pour le XXIe siècle, l'historien Yuval Noah Harari explique que dans un monde submergé d'informations non pertinentes, la clarté est une source de pouvoir. Pour les chefs de produits, ces informations non pertinentes (et, espérons-le, beaucoup d'autres qui sont, elles, pertinentes) sont les données issues d'une multitude de sources. C'est au chef de produit qu'il incombe de leur donner un sens.

Comme nous l'avons vu dans la section précédente, se laisser orienter par les données ne revient pas à les suivre aveuglément. En réalité, l'interprétation de l'individu chargé d'analyser les données est tout aussi importante, sinon davantage encore que les données brutes. Or, il existe deux domaines cruciaux où seul un être humain (certainement pas des algorithmes ou un système automatisé) est en mesure d'analyser les données.

1. Prendre des décisions

Peu importe la qualité informative ou révélatrice des données, une intervention humaine sera toujours nécessaire. Selon Tatyana Mamut, responsable produit chez Nextdoor, le travail d'un chargé de produit est d'interpréter les données de manière efficace, de comprendre ce qu'elles signifient et de progresser, selon que la situation nécessite une décision fondée sur une observation empirique ou sur des valeurs (ou les deux).

Travis Turney, responsable de la stratégie des données chez Rapid7, explique cette intuition : « aucun programme n'ingère vos données pour vous livrer directement la solution sur un plateau. Il ne peut y avoir d'analyse de données sans intervention humaine ».

Bien entendu, il existe des questions dans la gestion produit auxquelles il est possible de répondre avec un seul élément de données (par exemple : Quelle fonction est la plus utilisée ? Quel est notre NPS moyen ? Quel pourcentage d'utilisateurs de type X avons-nous fidélisé au bout de trois mois ?) mais il y en a bien plus pour lesquelles ce n'est pas possible.

Si vous essayez de découvrir pour quelle raison les utilisateurs abandonnent à un certain moment du processus, ou ce qui a changé dans l'utilisation d'une fonction, ou encore la version du guide d'une application qui génère le plus d'action, il faudra qu'un humain prenne la décision.

2. Parler aux clients

Toutes les actions d'un chef de produit n'ont pour seul but que de servir le client. Le meilleur moyen de comprendre ce dont votre client a besoin ou ce qu'il souhaite obtenir avec votre produit est de lui parler directement. Greg Bayer, vice-président senior Produit chez Nielsen, affirme que passer régulièrement du temps avec les clients pour leur demander leur avis sur « certaines caractéristiques, aide à planifier la feuille de route, voire à comprendre comment ils utilisent d'autres technologies en complément » et donne un point de vue global au chef de produit qui lui permet d'accéder à une vue d'ensemble capitale.

Même si vous pensez savoir ce que veulent les clients en vous basant sur la manière dont ils interagissent avec votre produit (notamment grâce aux données d'utilisation du produit) ou ce qu'ils en pensent (grâce au NPS ou au score CSAT), rien ne remplace les informations que vous obtenez lors de conversations en face-à-face ou à distance. Sam Benson affirme que, pour l'équipe product ops de Firefly Learning, il est extrêmement important d'associer données quantitatives et qualitatives issues des entretiens avec les utilisateurs afin de comprendre les raisons motivant chaque étape du processus de découverte.

Les chefs de produits doivent utiliser les données de manière responsable

Plus les chefs de produit utilisent de données, plus grande est leur valeur (en théorie). Mais Beatrice Fabris, responsable de l'expérience utilisateur, du contenu et du développement chez Mimecast, a rapidement réalisé que « on peut manipuler les données à sa guise » Même si les données quantitatives sont considérées comme objectives, elles peuvent néanmoins être instrumentalisées, selon la manière de les présenter de la personne qui a mené l'analyse.

Les chefs de produit doivent utiliser les données de sorte à ne pas altérer ou masquer la vue d'ensemble. En revanche, les chefs de produit devront toujours se servir de leur intuition, leur expérience et leur opinion pour prendre les bonnes décisions. Mais les données jouent un rôle important pour éclairer ces décisions à chaque étape du cycle de développement d'un produit.

L'utilisation des données par les chefs de produit

Même si les données sont toujours utiles pour un chef de produit, elles le sont de différentes manières. Rekha Venkatakrishnan, responsable de la gestion des produits du groupe, considère les données comme un élément permanent du cycle de développement des produits, mais l'essentiel est de s'assurer que vous savez quelles données vous souhaitez utiliser (et pour quelle raison) dans le but d'atteindre vos objectifs.

Beatrice Fabris de Mimecast s'est fait l'écho de ce sentiment : « Je ne dirais pas qu'il y a un domaine en particulier dans lequel les données sont plus utiles. Les données peuvent être utilisées à travers tout le processus. C'est en s'assurant que les données sont utilisées de la bonne manière qu'on en tire de la valeur. »

Elle poursuit en expliquant que, dans l'équipe chargée de l'expérience utilisateur, l'approche des données est différente selon la phase que le produit traverse. En effet, avant la sortie d'une nouvelle fonctionnalité, elle s'intéresse aux éléments du produit sur lesquels les utilisateurs passent le plus de temps afin de définir comment publier les guides complémentaires dans l'application. Pour un produit déjà commercialisé, les données servent à identifier les domaines à améliorer et à évaluer la performance des guides dans l'application.

Il est important de mettre en lumière les aspects du développement des produits et du cycle de vie des clients où les données peuvent jouer un rôle crucial :

Découverte

Lors du processus de découverte, les chefs de produit peuvent utiliser les données pour identifier les lacunes du produit et décider des changements ou des mises à jour qu'il faudra mettre en œuvre. Par contre, il est également utile d'observer les fonctionnalités les plus utilisées afin de déterminer s'il existe un moyen d'améliorer l'expérience des utilisateurs. Si vous savez qu'une fonctionnalité particulière est associée à un résultat précis, vous devez toujours chercher de nouveaux moyens de l'améliorer.

Création de la feuille de route

Les données sur l'utilisation des produits sont bien utiles pour informer la feuille de route : quelles caractéristiques des produits concernés les clients utilisent-ils le plus ? Celles-ci nécessitent une attention toute particulière. Viraj Phanse, chef de produit chez Amazon Web Services, évoque un autre scénario. Il souligne que parfois, un chef de produit émet une hypothèse pour sa feuille de route, sans disposer des données pour l'étayer. Dans un tel cas, le chef de produit doit prendre une décision en mesurant les risques. Adopter une approche centrée sur le client peut vous y aider : intéressez-vous aux problèmes rencontrés par vos clients tout au long de leur parcours, et demandez-vous constamment quel problème vous tentez de résoudre.

Lancement de fonctionnalités

Lors du lancement de nouvelles fonctionnalités, Greg Bayer de Nielsen révèle que son équipe examine toujours en priorité l'adoption et l'utilisation : combien de clients utilisent la nouvelle fonctionnalité ? Celle-ci renforce-t-elle l'engagement général envers le produit ? Pour G. Bayer, il est crucial de relier les critères de réussite à vos clients car, dans un l'idéal, vos clients trouvent le succès parce qu'ils ont utilisé votre produit.

Vous devez également analyser le succès d'une nouvelle fonctionnalité pour comprendre les habitudes d'utilisation et ce dont les clients pourraient encore avoir besoin de la part du produit. Plus important encore, assurez-vous d'avoir mis en œuvre un suivi avant de lancer une nouvelle fonctionnalité. Travis Turney chez Rapid7 pense que la statistique elle-même compte moins qu'un ensemble de statistiques, pour que vous puissiez découvrir au fil du temps ce qui vous convient.

Onboarding

Lors de l'élaboration d'une stratégie d'intégration, les données relatives au produits peuvent vous aider à déterminer les caractéristiques à inclure dans votre flux d'intégration (c'est-à-dire celles qui sont les plus susceptibles de mener au succès du produit) et à mesurer l'efficacité de l'intégration.

Travis Turney de Rapid7 estime quant à lui que la phase d'onboarding est un moment important pour mieux connaître le client par le biais des données recueillies. Comme les clients sont plus susceptibles de consentir à donner des informations sur eux lorsqu'ils utilisent un produit pour la première fois, Travis pense que c'est la meilleure occasion de collecter des données (par ex. le rôle dans la société) qui permettront d'offrir une expérience produit plus personnalisée.

Expérimentation et tests

Quant au processus d'expérimentation, il repose sur les données recueillies lorsqu'est testé, analysé et découvert ce qui fonctionne ou non. Manosai Eerabathini, qui travaille chez Google, pense que les données sont essentielles pour la phase d'expérimentation, en particulier pour les produits bien établis et lorsque les tests et la mise en œuvre de petites modifications sur l'expérience utilisateur peuvent avoir un impact conséquent.

Andy Browning, créateur d'expérience utilisateur chez Mimecast, nous l'explique du point de vue de son équipe : « Nous avons découvert, lors des tests d'utilisateur, que nous les abordons avec nos propres idées et notre instinct. Mais ensuite, lorsqu'on observe l'engagement des utilisateurs avec le produit et qu'on obtient des données, on se rend parfois compte qu'on avait totalement tort. Et il n'y a pas vraiment de doute là-dessus : les améliorations deviennent évidentes. »

Retention

La fidélisation reste également importante, mais il est de plus en plus crucial pour les entreprises d'aller au-delà de la fidélité en comprenant comment les clients utilisent l'application. Sam Benson explique comment, chez Firefly Learning, les chargés de la réussite client doivent connaître le parcours utilisateur de leur client afin de générer des conversations productives, en particulier au moment des renouvellements. Ainsi, ces responsables peuvent donner de bons conseils adaptés à l'utilisation de chaque compte client.

Vous en apprendrez plus auprès des clients qui ne sont pas facilement accessibles

Le chef de produit n'est pas le seul concerné par les données

Utilisées avec efficacité, les données produit constituent une ressource accessible à l'ensemble de l'entreprise. Toutes les équipes, ou presque, ont une bonne raison de se soucier de la performance du produit ou de l'utilisation qu'en font les clients, en particulier dans les organisations « centrées sur le produit ». Dès lors, la tâche d'un chef de produit consiste en grande partie à donner au reste de l'organisation les clés pour exploiter les données et les informations recueillies.

Quelques conseils pour partager efficacement des données sur les produits :

• Assurez-vous que tous les acteurs ont accès aux données du produit
• Lorsque vous partagez des données sur un produit, fournissez seulement les informations pertinentes à chaque type d'acteur (c'est-à-dire selon les équipes)
• Si vous avez déjà défini un indicateur étoile du berger, servez-vous en comme mécanisme pour communiquer les données sur le produit
• Distribuez les données produit lors des réunions pluri-disciplinaires ou des grandes assemblées d'entreprise
• Replacez les données dans leur contexte et expliquez en quoi elles sont importantes pour chaque équipe ou partie prenante de l'entreprise
• Utilisez Slack (ou tout autre moyen de communication) pour partager des données sur un produit et favoriser la collaboration

Exemple d'utilisation en product ops

Les statistiques utiles

Se servir des données pour créer un bon produit ne suffit pas. Les chefs de produit doivent s'intéresser notamment à l'utilisation du produit, le sentiment des utilisateurs et les commentaires des clients pour offrir en permanence la meilleure expérience produit possible et s'assurer que les besoins des clients sont satisfaits. Même Sweetgreen, une chaîne de fast-food spécialisée dans les salades qui se sert des nouvelles technologies, commence à surveiller des indicateurs comme le nombre d'utilisateurs actifs de son application et la valeur vie client, au lieu de se contenter des chiffres des ventes de ses magasins ou du nombre de clients physiques.

Les êtres humains sont naturellement attirés par des informations qui ont été organisées et, si possible, simplifiées. Or, l'un des exercices les plus difficiles est de déterminer quels indicateurs doivent être mesurés vis-à-vis du produit, et lesquels revêtent le plus d'importance. Lorsque nous avons demandé à nos interlocuteurs quels indicateurs les chefs de produits doivent mesurer en priorité, tous s'accordaient sur un point : « ça dépend ».

Voici quelques facteurs qui ont un impact sur les indicateurs que les chefs de produit doivent suivre :

• Si votre entreprise est en B2B, B2C ou un mélange des deux
• Votre secteur (y compris SaaS ou non, destinée aux entreprises ou aux consommateurs)
• Le stade de votre produit
• Les objectifs de votre entreprise (par ex. acquisition de nouveaux clients ou fidélisation)

Comme il n'existe pas de solution universelle en matière de statistiques produit, voici quelques manières de choisir ce sur quoi se focaliser :

Deux exemples de frameworks d'indicateurs

1. Viraj Phanse chez Amazon Web Services, a publié un framework d'indicateurs qui permet de classer les chiffres selon l'équipe interne ou l'acteur externe concernés. Ci-dessous, des exemples d'indicateurs pour chacune des quatre catégories définies :

• Gestion : recettes, rentabilité, Net Promoter Score (NPS), fidélité, valeur vie client (VVC)
• Client : NPS, score de satisfaction client (CSAT), le score d'effort client (CES)
• Marketing : VVC, conversions, croissance du nombre d'utilisateurs actifs par jour et par mois
• Ingénierie : nombre de problèmes, vélocité, taux de clic, NPS

2. Tatyana Mamut de chez Nextdoor nous communique le framework d'indicateurs qu'elle et son équipe ont développé. Il se compose de quatre catégories :

• Valeur produit : il s'agit d'indicateurs tardifs du succès d'un produit, tels que les indicateurs d'engagement (par ex. le rapport entre utilisateurs actifs par jour et par mois) et les recettes.
• L'appréciation du produit : elle permet à l'équipe produit de comprendre si elle crée un produit que les clients utilisent, mais aussi qu'ils aiment. Idéalement, il s'agit d'indicateurs clés, comme les utilisateurs actifs sur la 4e semaine et le NPS.
• Objectif du produit : la plupart des entreprises ont défini des objectifs à atteindre, mais elles ne mesurent pas nécessairement si elles y parviennent. Chez Nextdoor, l'équipe utilise pour cela un outil de mesure de la vitalité du quartier, qu'elle suit en examinant le nombre de connexions de haute qualité qui sont réalisées (en ligne et hors ligne) ainsi que la quantité de contenus signalés sur sa plateforme.
• Passion des employés : puisqu'il est impossible de créer un produit de qualité sans des employés passionnés, Nextdoor mesure la motivation de ses collaborateurs par le biais de sondages fréquents et de commentaires réguliers, qui les aident à atteindre des sommets dans leur cadre d'évaluation.

L'indicateur « étoile du berger »

Cet indicateur est couramment utilisé par les équipes de product ops qui cherchent à se concentrer sur une donnée particulière. Comme il peut être difficile de gérer toutes les données provenant de sources très diverses, l'indicateur étoile du berger aide les équipes à se concentrer sur un seul point. Le seul inconvénient est que les chefs de produit peuvent négliger les autres signaux du produit, qui eux aussi comptent.

Manosai Eerabathini, chez Google, n'a pas toujours cru en l'étoile du berger, mais il a fini par reconnaître qu'il est intéressant de réduire son champ de vision et de se focaliser sur un seul indicateur général afin de suivre la progression. Son approche concernant l'indicateur étoile du berger est d'établir une hiérarchie entre les statistiques subalternes qui toutes mènent à l'étoile du berger.

Chez Tray.io, l'équipe a créé un indicateur sur-mesure de type « étoile du berger », le score utilisateur, qui regroupe plusieurs points de données (par exemple le nombre d'utilisateurs actifs quotidiens, les clics et divers indicateurs de l'entonnoir) dans une vue globale. Bella Renney déclare analyser cet indicateur quotidiennement, en examinant le plus souvent le nombre d'utilisateurs repris sous trois seuils de scores différents. Ce score agrégé permet également à son équipe d'explorer les points de données sous-jacents, qui les aident à comprendre pourquoi le score d'un certain client a augmenté ou diminué.

Son conseil pour trouver son étoile du berger ou sa propre compilation de chiffres ? « Prenez le temps d'examiner sans complaisance ce qui est considéré comme un succès pour vos utilisateurs et créez votre indicateur à partir de cela ».

L'équilibre entre quantité et qualité

Un autre thème qui revient dans presque toutes les conversations est que les chefs de produit doivent trouver l'équilibre entre les données qualitatives et les données quantitatives. Selon Greg Bayer de chez Nielsen, « un bon chef de produit doit mélanger les deux à parts égales. »

Voici à quoi cela peut ressembler :

Beatrice Fabris annonce que, chez Mimecast, un outil d'analyse de produit est utilisé pour vérifier que les types de problème évoqués par les clients lors de leurs appels téléphoniques correspondent aux parties du produit où les utilisateurs passent le plus de temps. Ces données viennent s'ajouter aux informations qualitatives provenant des appels au service client, le tout formant une vue d'ensemble complète.

Travis Turney de Rapid7 a noté quant à lui que les données qualitatives et quantitatives ont été particulièrement importantes lorsque l'équipe travaillait sur l'optimisation du processus d'onboarding. En combinant les informations contenues dans les messages envoyés à l'assistance et celles liées à l'utilisation du produit, son équipe a pu mieux identifier les zones du produit dans lesquelles il fallait investir davantage et améliorer l'expérience pour les nouveaux clients.

Viraj Phanse de chez Amazon Web Services nous cite un exemple concernant la compréhension des problèmes des clients. En effet, il estime que les chefs de produit devraient appeler les clients pour comprendre les problèmes auxquels ils sont confrontés.

À partir de là, il s'agit d'approfondir l'aspect quantitatif en examinant les réponses aux enquêtes NPS ou l'analyse de cohorte pour la fonctionnalité spécifique qui pose problème aux clients.
Ensuite, nous écouterons nos experts parler de ce dont ont besoin les chefs de produit pour utiliser les données efficacement.

Comment devenir un chef de produit qui exploite davantage les données

Pour aider leurs collègues à continuer de s'améliorer, nous avons demandé à nos interlocuteurs de nommer une compétence ou un outil qu'un chef de produit axé sur les données devrait posséder pour faire son travail. Et voici leurs réponses (les chefs de produit, prenez des notes).