Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
Lorsque la division fiscale et comptable de Thomson Reuters a créé un nouveau moteur de recherche optimisé par l'intelligence artificielle et l'apprentissage automatique pour sa plateforme Checkpoint Edge, elle savait que cela allait radicalement changer la façon dont les utilisateurs interagissaient avec son service. Mais elle avait besoin d'un moyen de comprendre comment les utilisateurs se servaient de cette nouvelle fonctionnalité afin de pouvoir continuer à améliorer la pertinence des suggestions de recherche de l'outil, ainsi que le contenu qui leur était associé.
Thomson Reuters a exploité les événements de suivi de Pendo pour obtenir des informations sur trois étapes critiques de l'expérience de recherche des utilisateurs, puis a croisé ces résultats avec les scores NPS des utilisateurs. Cela a permis à l'entreprise d'obtenir une vue d'ensemble des performances de la fonctionnalité et de son impact sur le sentiment des utilisateurs.
En utilisant Pendo, l'équipe Thomson Reuters a contribué à démocratiser les données d'utilisation de cette fonctionnalité au-delà de ses équipes de science des données, en encourageant les parties prenantes sans compétences techniques à se familiariser avec le parcours utilisateur, en permettant aux éditeurs de mieux comprendre les intentions de recherche des utilisateurs et, au final, en améliorant les capacités d'IA/ML du produit et la pertinence du contenu proposé.
To us, Pendo’ing means solving user pain points around guidance tracking, experimentation, or awareness. We also build analytics into every single user story that we write—so there’s always a component of tracking metrics we build in through Pendo.
Vinay Shukla, Product manager, Thomson Reuters
Dans un monde dominé par les plateformes de recherche, fournir les bonnes informations aux utilisateurs au bon moment a toujours été un enjeu majeur. Et avec l’essor de technologies telles que l’apprentissage automatique (ML) et l’intelligence artificielle (IA), proposer du contenu pertinent aux utilisateurs n’a jamais été aussi essentiel pour les entreprises, ni aussi efficace pour se démarquer. Mais comment les chefs de produit peuvent-ils mesurer avec précision, et finalement améliorer, l’efficacité des ML/IA dans des cas d’utilisation comme ceux-ci ?
L'ensemble de la plateforme Thomson Reuters repose sur la puissance de sa fonctionnalité de recherche. Le produit Checkpoint Edge permet aux professionnels de la fiscalité et de la comptabilité d'effectuer des recherches et de trouver rapidement et efficacement les informations dont ils ont besoin. « En tant que plateforme de recherche, nous disposons d'un champ de recherche dans lequel les utilisateurs saisissent leurs termes », explique Vinay Shukla, ancien chef de produit chez Thomson Reuters. « Nous avons également une fonctionnalité appelée « boîte de suggestion automatique » qui s’affiche quand l’utilisateur commence à saisir ses termes [de recherche]. Nous avons développé des capacités d'intelligence artificielle afin de commencer à suggérer des recherches recommandées en fonction de la saisie de l'utilisateur. »
M. Shukla et son équipe avaient besoin d'un moyen de mesurer l'efficacité de cette fonctionnalité de suggestion automatique. Il souhaitait également pouvoir se concentrer sur les aspects comportementaux et psychologiques de la manière dont les utilisateurs interagissaient avec la fonction de recherche du produit. « [Nous souhaitions comprendre des éléments tels que] le moment où un utilisateur interrompt sa saisie ou ses frappes, ou lorsqu'un utilisateur modifie une requête que nous lui suggérons », a expliqué M. Shukla. « Ce type d'informations est vraiment très utile pour la maintenance future de nos capacités en matière d'IA et d'apprentissage automatique, qui nécessitent beaucoup de données explicites et implicites. »
Shukla and his team turned to track events in Pendo to capture three different key criteria in a user’s search process: (1) a user’s first inputs, upon which they stop entering data; (2) whether or not the user selected something from the auto suggest dropdown queries; and (3) the user’s final search. “With these three pieces of information, we’re starting to open up a huge world of analyzing whether a user is modifying their query—and what they put in their query,” Shukla explained.
Il souligne que cette approche de suivi en trois volets permet à son équipe d'approfondir l'analyse des comportements des utilisateurs afin d'améliorer les performances des algorithmes d'apprentissage automatique et d'intelligence artificielle. « Ont-ils arrêté de saisir ? Ont-ils remarqué que leur question était déjà disponible dans la recherche ? [Les événements de suivi] nous donnent essentiellement un aperçu des performances de la [fonctionnalité de] suggestion automatique et nous offrent également la possibilité de voir la quantité d'informations dont l'IA a besoin pour commencer à afficher des suggestions de questions », affirme M. Shukla.
Il a ajouté que les événements de suivi de Pendo constituent une amélioration considérable par rapport à leur ancienne méthodologie, qui ne permettait pas de déterminer le moment précis où la recherche d'un utilisateur était prise en compte. « [Pendo] est une solution formidable, car même les personnes sans compétences techniques peuvent extraire les données du tableau de bord Pendo et créer des tableaux croisés. Désormais, même les personnes qui ne sont pas des spécialistes en science des données peuvent effectuer des analyses très rapidement », conclut Vinay Shukla.
La possibilité de suivre ces événements et de comprendre l'engagement des utilisateurs a également été extrêmement bénéfique pour l'équipe éditoriale de Thomson Reuters. « Nos rédacteurs rédigent du contenu pour notre plateforme en interne », explique M. Shukla. « Ils ont eu la possibilité d'analyser et d'examiner les types de requêtes formulées par les utilisateurs. S'ils ont participé à l'élaboration de certaines de ces requêtes, ils sont désormais en mesure d'obtenir un retour d'information sur les autres types de recherches effectuées par les utilisateurs. Cet événement de suivi en particulier leur a donc donné une grande marge de manœuvre. »
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
Correlating user feedback with analytics has also added a deeper layer of context to how Shukla’s team measures the auto suggest feature’s success. By creating a segment of users who’ve completed a specific tracked event, then generating an Net Promoter Score (NPS) report of those users and comparing it to a segment that has not engaged with the tracked event, he is better able to understand the impact the feature has on user sentiment. “It was really important for us to see the trends of how people were reacting in terms of NPS with this feature,” Shukla explained.
M. Shukla souligne finalement que la facilité d'extraction des données à partir de Pendo a été un atout majeur. « Le plus grand avantage est de pouvoir mettre ces données brutes à la disposition des personnes qui font le travail », déclare-t-il. « Il n'y a pas besoin de beaucoup d'efforts ou d'une courbe d'apprentissage énorme pour extraire les données et filtrer les requêtes qui sont actuellement les plus populaires sur le marché, notamment lorsqu'il s'agit de savoir ce que nos utilisateurs recherchent. »
Découvrez comment Pendo peut apporter de la valeur à votre organisation dès le premier jour
