Deze casestudy schetst hoe we Explainable AI (XAI)-technieken hebben gebruikt om modelprestaties te monitoren en concept- en datadrift te detecteren voor onze klant DAT Group. Door een alomvattende en toekomstbestendige aanpak te implementeren, stelden we onze klant in staat om optimale modelprestaties te behouden en de gegevensintegriteit te waarborgen, wat resulteerde in kostenbesparingen en meer vertrouwen in hun modellen.
Key Challenges
Onze klant is DAT Group, een internationaal bedrijf dat opereert als een trust in de auto-industrie. Al meer dan 90 jaar leveren ze dataproducten en -diensten in de automobielsector die gericht zijn op het mogelijk maken van een digitale voertuiglevenscyclus.
Een van hun belangrijkste producten is het verstrekken van prijsschattingen voor gebruikte auto’s. Dit wordt gebruikt door verschillende klanten, van verzekeringsmaatschappijen tot fabrikanten van originele apparatuur. Voor de prijsramingen maakten ze gebruik van zowel domeinexpertise als marktgegevens. De workflows voor het verwerken en analyseren van gegevens waren voornamelijk handmatig, waardoor het onmogelijk was om het proces voor het ophalen van informatie te schalen, te versnellen en te automatiseren.
Als onderdeel van de AI-roadmap waarmee we DAT ondersteunden, automatiseerden we deze handmatige gegevensprocessen en ontwikkelden we een machine learning-oplossing die gegevensgestuurde schattingen van prijzen voor gebruikte auto’s mogelijk maakte. Dankzij deze oplossingen kon het team real-time datagestuurde beslissingen nemen.
Naarmate de tijd verstreek, werden de teams van onze klant geconfronteerd met verschillende uitdagingen met betrekking tot de prestaties van hun machine learning-model, waaronder:
- Verslechtering van de modelprestaties in de loop van de tijd als gevolg van veranderende gegevenspatronen en marktomstandigheden ((conceptafwijking en gegevensafwijking).
- Moeite met het organiseren en bepalen van het juiste moment om hertraining van het model te activeren om optimale prestaties te behouden.
- Zorgen voor gegevensintegriteit voor nieuwe inkomende gegevens, waardoor ruis en vooroordelen in het model worden voorkomen.
- Handmatige monitoring van de impact van datadrift op modelprestaties.
Onze Aanpak van Model Monitoring met XAI
Om deze uitdagingen het hoofd te bieden, hebben we een alomvattende en toekomstbestendige aanpak gevolgd die bestaat uit de volgende stappen:
Implementatie van geautomatiseerde gegevensafwijkingsdetectie met behulp van SHAP
We hebben de SHAP-bibliotheek (SHapley Additive exPlanations) gebruikt om de SHAP-waarden voor elk nieuw binnenkomend datapunt continu te evalueren en te volgen. Over het algemeen geven SHAP-waarden inzicht in de bijdrage van individuele kenmerken aan de voorspelling van een model voor een enkel datapunt. Veranderingen in de verdeling van SHAP-waarden geven aan dat het statistische patroon in de nieuwe gegevens in de loop van de tijd kan zijn verschoven, zodat de aannames van het model over de gegevens niet langer nauwkeurig zijn. Dit fenomeen wordt gewoonlijk conceptafwijking genoemd. Door de SHAP-waarden te monitoren, kunnen we precies detecteren wanneer een dergelijke conceptafwijking optreedt en passende maatregelen nemen.
Continue visualisatie in een dashboard voor modelbewaking
We hebben een dynamisch dashboard ontwikkeld om de modelprestaties te visualiseren met behulp van enerzijds standaard evaluatiestatistieken zoals RMSE en MAE en anderzijds SHAP-waarden voor elke functie. Hierdoor kon de klant eenvoudig zijn modellen monitoren, eventuele prestatieproblemen identificeren en begrijpen hoe datadrift de nauwkeurigheid van het model beïnvloedde.
Geautomatiseerde melding voor gedetecteerde gegevensafwijking
We hebben een geautomatiseerd e-mailmeldingssysteem opgezet om de producteigenaar en datawetenschappers te waarschuwen wanneer de modelprestaties verslechteren of wanneer conceptafwijking wordt gedetecteerd. Dit zorgde ervoor dat de relevante belanghebbenden snel werden geïnformeerd en passende maatregelen konden nemen, zoals het aanpassen van de parameters van het model of het initiëren van omscholing, afhankelijk van de ernst van de drift.
Grondige instructie over herscholing van modellen
We hebben de producteigenaar en datawetenschappers diepgaande training gegeven over hoe ze hun modellen indien nodig kunnen omscholen. Deze begeleiding omvatte verschillende aspecten, waaronder het identificeren van de behoefte aan omscholing, het selecteren van de juiste trainingsgegevens, het valideren van de prestaties van het nieuwe model en het implementeren van het bijgewerkte model in productie. Dit stelde hen in staat om optimale modelprestaties te behouden en betere beslissingen te nemen over wanneer omscholing te activeren.
Voordelen
Door deze alomvattende benadering van Model Monitoring met behulp van XAI te implementeren, heeft onze klant verschillende voordelen ervaren, waaronder:
- Voorkomen van verouderde modellen in productie, ervoor zorgen dat hun modellen nauwkeurige voorspellingen bleven geven terwijl gegevenspatronen zich ontwikkelden.
- Verbeterde modelprestaties in de loop van de tijd, omdat het systeem zich kon aanpassen aan veranderende gegevenspatronen en een hoge mate van nauwkeurigheid kon behouden.
- Meer vertrouwen in hun modellen dankzij betere zichtbaarheid van prestatiestatistieken, waardoor belanghebbenden beter geïnformeerde beslissingen kunnen nemen op basis van de voorspellingen van het model.
- Kostenbesparingen door retraining te triggeren alleen activeren wanneer dat nodig is, onnodige retraining efforts te vermijden en de totale onderhoudskosten te verlagen.
- Meer controle over de kwaliteit van hun modellen, waardoor ze modelparameters kunnen verfijnen en consistente prestaties kunnen garanderen.
Betrokken Team
Eén Data Scientist en XAI Engineer werkten 4 maanden samen met onze klant aan dit project. Ze werkten nauw samen met het data science-team van de klant om de monitoringoplossing te ontwerpen en te implementeren, gaven training over hertraining van modellen en ondersteunden de klant tijdens het hele proces van integratie van de oplossing in hun bestaande infrastructuur.
Technologieën gebruikt voor dit project
Geschreven door
Author
