Comment Yahoo DSP a utilisé Pendo pour améliorer les performances de la plateforme et augmenter la satisfaction des clients

Pensez à la dernière fois que vous avez utilisé un distributeur automatique. L'en-cas que vous aviez choisi est-il resté bloqué ? La machine a-t-elle émis des codes d'erreur inhabituels ? Si vous avez été confronté à de tels obstacles, il y a fort à parier que vous ayez ressenti de la frustration, de l'impuissance et une certaine fringale.

C'est exactement ce qui est arrivé à Kameron Canbaz, chef de produit principal chez Yahoo DSP. Une interaction ratée avec un distributeur automatique (il les voulait vraiment ces Donnettes) l'a amené à réfléchir à la manière dont les points de friction affectent les parcours utilisateur, et a lancé Yahoo DSP dans un parcours produit transformateur grâce à la solution Analyses de Pendo.

Canbaz works on Yahoo’s demand side platform (DSP), which helps companies buy advertisements. Rather than going to individual websites and buying one ad at a time, advertisers input their budget and goals into Yahoo DSP, which finds the best ad placements to purchase at the right time.

Répondre aux besoins des utilisateurs stimule la croissance des produits

L'une des activités les plus importantes des utilisateurs de Yahoo DSP est la mise en œuvre et la gestion des campagnes. C'est ainsi que les annonceurs diffusent leurs publicités auprès de leur public cible et que Yahoo DSP génère des revenus. Comme pour toute plateforme complexe, Yahoo DSP a parfois rencontré des difficultés qui, si elles n'étaient pas rapidement résolues, pouvaient avoir un impact sur les clients.

L'équipe produit s'efforçait de trouver des moyens de détecter et de traiter rapidement ces difficultés afin de garantir une expérience optimale aux annonceurs. Il lui fallait donc une solution qui lui permette d'identifier et de résoudre les problèmes au plus vite, sans utiliser trop de ressources, et d'offrir une expérience client exceptionnelle. L'outil Analyses de Pendo lui a fourni les outils nécessaires pour collecter une multitude de données, lui permettant ainsi d'obtenir des insights précieux pour optimiser les performances.

Building a foundation with democratized data

Canbaz created a simple three-step framework to guide the product team as they worked on addressing customer challenges:

1. Quantifier le problème avec des données
2. Plan and execute a strategy
3. Mesurer, modifier et recommencer

Before using Pendo, the product team would have to rely on the engineering team to mine data and build complex dashboards, which could take multiple days or weeks depending on the request. But with his knowledge as an avid Pendo user, Canbaz knew that Track Events could provide the “missing link” for getting the data he needed without pulling engineers away from critical work.

L'utilisation de Pendo présente un avantage supplémentaire : la démocratisation des données. Tous les chefs de produit ont accès aux données dont ils ont besoin pour générer des rapports et prendre des décisions éclairées.

Pendo Analytics uncovered two key areas where the user experience could be enhanced— page performance and error handling. Canbaz went deep into each problem to find how they could make strategic updates to quickly improve the customer experience.

Using Track Events to pinpoint performance improvement opportunities

Pour relever le premier défi, l'équipe de Canbaz a installé un événement de suivi sur chaque page de la plateforme, en se concentrant sur les données relatives à trois domaines :

• Parcours utilisateur actuel
• Parcours utilisateur précédent
• Temps total de chargement de la page

These data points gave Canbaz the information he needed to determine what to prioritize to make the most impact. He gathered detailed metrics using the Pages section of Pendo to review the slowest pages and utilized Data Explorer to view their load times. He prioritized updating the top 10 pages with load times over five seconds.

Analyse approfondie des messages d'erreur avec des données sur une seule page

To tackle the errors in the platform, Canbaz again used Track Events. Looking at errors through the lens of Track Events allowed Canbaz’s team to see and quantify what their users were struggling with in the platform. He set a Track Event to fire whenever an error message occurred within the platform. He tracked four things:

• Error type—whether UI or API
• Source de l'erreur : comment l'utilisateur perçoit-il l'erreur ?
• Message d'erreur affiché : était-il compréhensible pour l'utilisateur ?
• Parcours actuel et précédent : où se trouvait l'utilisateur dans son parcours lorsque l'erreur s'est produite ?

M. Canbaz a d'abord utilisé un rapport d'erreurs global pour trouver les pages contenant le plus d'erreurs. Il a ensuite examiné chaque page plus en détail afin d'y déceler des tendances. En analysant les données au niveau d'une seule page, M. Canbaz a pu déterminer s'il y avait des tendances notables concernant les types de visiteurs ou de comptes recevant le message d'erreur. Il a également pu examiner le message d'erreur pour déterminer s'il était ambigu ou prêtait à confusion.

An example he saw within the platform was very similar to his vending machine debacle, where the error code he received gave zero context to the actual problem. The error message users received didn’t explain what they were doing wrong or how they could fix the problem. They would end up attempting a workaround or abandoning the action entirely. Understanding the root cause of the error message required knowledge of the user and the timeframe where the error occurred.

Leveraging reports to create fast insights and improve performance

Avec toutes les données en main, M. Canbaz devait fournir les informations pertinentes à l'équipe d'ingénierie afin qu'elle puisse cibler ses efforts. L'exécution de rapports permettant d'identifier des pages spécifiques a donné à l'équipe d'ingénierie un point de départ clair pour améliorer les performances de la plateforme. À mesure que les ingénieurs mettaient en œuvre des améliorations, le temps de chargement des pages les plus lentes diminuait. L’équipe produit a continué à mesurer et à surveiller les temps de chargement pour s’assurer que les pages continuaient à s'afficher plus rapidement et qu’aucune nouvelle page lente n’apparaissait.

Pour corriger les messages d'erreur, l'équipe produit a créé deux rapports : l'un pour identifier l'erreur sur un jour donné et l'autre pour circonscrire cette erreur à une période spécifique. Ce niveau de précision a fourni aux ingénieurs les informations dont ils avaient besoin pour résoudre rapidement le problème.

« Réduire les occurrences d'erreurs à une période précise s'est avéré être la donnée la plus utile que nous puissions fournir aux ingénieurs », déclare M. Canbaz. « Ces données leur permettent de repérer l'erreur dans nos propres systèmes internes. »

Améliorations de la plateforme = des clients plus heureux

Après la mise en œuvre initiale par l'équipe d'ingénierie, les dix pages les plus lentes ont vu leur temps de chargement réduit jusqu'à 80 %. Les clients ont commencé à parler de la « réactivité » de la plateforme. « Si vous travaillez sur un produit B2B, vous savez à quel point il peut être difficile d'obtenir un feedback positif non sollicité sur vos produits », souligne M. Canbaz.

Le nombre d'erreurs a été considérablement réduit, comme l'explique M. Canbaz : « Les erreurs autrefois nombreuses et simultanées ont été réduites à néant. » Il continue de déployer le processus de signalement des erreurs auprès d'un nombre croissant de chefs de produit au sein de l'organisation afin de réduire les erreurs au sein de la DSP.

Mesurer, modifier, recommencer : utiliser Pendo pour réduire les risques

This process was not a one-and-done fix. Using Pendo data, Canbaz continuously tracks performance and error data. The power of Pendo data reduces the back and forth between product and engineering, streamlining their processes and speeding time to action.

Canbaz built the reports to be easily replicable so any product manager can simply adjust filters as needed to find the data they’re looking for and package for engineering. Pendo continues to help Canbaz and team deliver data, action improvements, and monitor success.

« L’utilisation de Pendo nous a permis de saisir rapidement toute l’ampleur du problème », explique M. Canbaz. « Lorsque nous développons des solutions aux problèmes, nous continuons de suivre notre framework et de l’ajuster au besoin au fil du temps pour assurer des progrès continus. Nous disposons ainsi de plus de temps pour continuer à rendre notre plateforme incroyablement conviviale. »

Pro tips

• Errors are inevitable and how we handle them matters. Be vigilant about finding and fixing errors before they drive your users away.
• Performance challenges can ruin a workflow. Use data to pinpoint the exact places where performance is a problem and determine how you can fix it.
• Predicting issues is tough—by the time we know about them, users are likely already affected. You must listen to your users regularly to find and fix these issues fast.