Dans ce cas client, nous retraçons comment nous avons convaincu les équipes du groupe DAT d’adopter un modèle d’apprentissage automatique (ou Machine Learning). Initialement très réticentes à utiliser une nouvelle solution avec laquelle elles étaient peu familiarisées, les équipes métier de notre client ont été accompagnées par nos experts XAI (Explainable AI), qui les ont aidées à comprendre et adopter une solution pilotée par les données afin d’estimer le prix de vente de voitures d’occasion.
Contexte et challenges
Notre client, le Groupe DAT, est une société internationale administrée sous forme fiduciaire, active dans le secteur automobile. Depuis plus de 90 ans, l’entreprise fournit des produits et des services data essentiels au cycle de vie digital des véhicules.
Elle se consacre principalement à l’estimation des prix des voitures d’occasion pour divers clients, des compagnies d’assurance aux fabricants d’équipements d’origine. Pour assurer ce service, elle employait jusqu’à présent son expertise du secteur, ainsi que les données du marché. Les flux de travail pour le traitement et l’analyse des données étaient essentiellement manuels, ce qui rendait impossible la mise à l’échelle, l’accélération et l’automatisation du processus de récupération des informations.
Dans la feuille de route IA que nous avons établie pour DAT, nous avons automatisé ces processus manuels et développé une solution d’apprentissage automatique qui a permis d’estimer les prix de voitures d’occasion selon une approche pilotée par les données (ou data-driven). Les équipes pouvaient ainsi prendre des décisions basées sur des données, et ce en temps réel.
Au cours de la mise en œuvre du projet, nous avons constaté une très faible adhésion de la part des parties prenantes. En effet, les membres de l’équipe étaient réticents à l’idée d’utiliser les prédictions du modèle et de les intégrer à leurs flux de travail. La situation était simple, mais intenable, car ni le modèle ni les informations qu’il générait n’étaient utilisés par les membres de l’équipe. Pour remédier à ce problème, nous avons mis l’accent sur la gestion du changement dans les buts suivants :
- Comprendre les réticences de l’équipe et la façon d’y remédier ;
- S’assurer que l’équipe métier adopte le modèle pour optimiser le travail effectué et fournir des estimations aussi précises que possible.
Dans certains cas, je me suis rendu compte que les résultats du modèle ne correspondaient pas à mes attentes. Tant que je ne comprends pas le processus de décision, je ne fais pas confiance à ces estimations.
Membre de l’équipe de DAT Group
Notre approche
Pour assurer l’adoption du modèle et répondre ainsi aux besoins de notre client, nous avons pris les mesures suivantes :
1. Identification des problèmes rencontrés par l’équipe métier
Nous avons commencé par mener des entretiens de groupe avec toutes les parties prenantes (experts dans le secteur et tous leurs collaborateurs). L’objectif était de comprendre ce qui les dissuadait d’utiliser les estimations du modèle et de trouver ensemble des solutions potentielles.
Plusieurs questions sont revenues de façon récurrente : « Pourquoi obtenons-nous cette estimation ? », « Quels facteurs influencent le prix ? » et « Pourquoi devrais-je utiliser cette solution basée sur des données ? ».
De manière générale, il était évident que l’équipe se méfiait de la qualité des prédictions du modèle. Forts de ces retours, nous avons décidé de nous concentrer davantage sur la gestion du changement, en expliquant plus précisément les prédictions du modèle et en renforçant la communication avec l’équipe.
2. Mise en place d’un tableau de bord présentant des visualisations claires
Notre stratégie de gestion du changement s’est principalement appuyée sur des techniques d’intelligence artificielle explicable (XAI). Nous avons ainsi regroupé les résultats dans un tableau de bord dynamique et compréhensible, qui permettait de les visualiser plus facilement. Plus précisément, nous avons utilisé la bibliothèque SHAP qui permet de calculer efficacement des valeurs de Shapley1, afin de mesurer pour un échantillon et une prédiction donnés la contribution marginale des caractéristiques individuelles.
Pour les experts du secteur, il était très intéressant de voir quelles caractéristiques obtenaient les valeurs de Shapley les plus élevées, et avaient donc le plus d’impact sur les prédictions. Ils ont également pu découvrir la distribution des valeurs de Shapley pour les caractéristiques moins influentes, comme certains équipements spéciaux par exemple.
Si la bibliothèque SHAP représente un atout majeur, c’est surtout parce qu’elle fournit des explications locales (intelligibilité locale par opposition à l’intelligibilité globale) pour chaque caractéristique, ce qui a permis aux experts d’examiner les prix des voitures au cas par cas et de vérifier si les explications correspondaient à leurs attentes.
L’introduction de ces méthodologies a permis de démystifier les modèles et de les rendre plus accessibles aux experts du secteur, qu’ils aient ou non de l’expérience en matière d’apprentissage automatique.
Enfin, nous avons fourni à toutes les parties prenantes un tableau de bord qui regroupe les visualisations les plus importantes et les plus explicites. Ils ont ainsi pu soumettre directement des échantillons (voitures) et observer les résultats et le détail des calculs.
3. Amélioration de la gestion du changement en assurant la compréhension des modèles
À partir des représentations précédentes, nous avons organisé des sessions de questions-réponses avec les parties prenantes pour répondre à tous les doutes restants. Nous avons également présenté les visuels de la bibliothèque, accompagnés d’explications détaillées.
Les équipes étaient ravies de pouvoir interpréter les résultats de causalité du modèle et de comprendre les calculs détaillés. Elles ont pu comprendre fondamentalement le mode de fonctionnement des modèles et l’origine de leurs prédictions, ce qui a considérablement amélioré la transparence des modèles développés et la confiance des équipes dans ces derniers.
Amélioration du modèle en lui-même
Grâce aux sessions d’information et aux représentations avancées sur les modèles existants, nous avons relevé certains biais dans un modèle, qui nous ont permis d’identifier des problèmes dans les données sous-jacentes.
Après avoir réglé ces problèmes, nous avons intégré l’XAI en tant qu’élément fondamental du cycle d’élaboration de nos modèles afin de prévenir ce type de biais à l’avenir (et de garantir la qualité des modèles déployés).
Bénéfices
- Adoption complète et confiance dans les modèles disponibles par les équipes métier et toutes les parties prenantes.
- Estimations plus précises par les équipes métiers de notre client. Au lieu de se fier à leurs intuitions, les équipes s’appuient désormais sur les données pour prendre des décisions plus éclairées, et donc plus précises (une approche pilotée par les données et non inspirée des données).
- Prédictions de meilleure qualité grâce aux sessions d’explication avec l’entreprise. Il est vrai que certains aspects du modèle n’étaient pas aussi cohérents que nous le pensions, ce qu’il était impossible de savoir sans le mettre en pratique pendant un certain temps. Les sessions d’explication ont joué un rôle particulièrement intéressant, puisqu’en plus d’encourager l’adoption, elles ont permis d’améliorer le modèle en lui-même, en le rendant plus pertinent et plus pérenne.
- Amélioration de la gestion du cycle d’élaboration de l’apprentissage automatique avec des itérations plus précises, plus courtes et plus rapides.
Équipe impliquée dans le projet
Un ingénieur XAI et un Data Scientist a collaboré avec notre client pendant 4 mois sur ce projet.
Technologies et partenaires
1Obtenez plus d’informations sur les « valeurs de Shapley » : https://towardsdatascience.com/the-shapley-value-for-ml-models-f1100bff78d1
Grâce à nos
Auteur
