Le fournisseur de progiciel de gestion intégré d’une entreprise manufacturière avait déployé plusieurs capacités d’IA sur sa plateforme au cours des deux années précédentes. Ces capacités étaient bien documentées dans ses supports produits : détection d’anomalies dans les flux de données de production, recommandations de maintenance prédictive, optimisation des stocks et prévision de la demande. L’évaluation TPRM de l’entreprise manufacturière avait examiné la sécurité des produits d’IA du fournisseur, en passant en revue les pratiques relatives aux données d’entraînement, la documentation des modèles et la sécurité des API pour chacune des fonctionnalités d’IA divulguées. L’évaluation était rigoureuse pour les cas d’usage d’IA divulgués. Ce qu’elle n’avait pas mis au jour, c’était le programme interne d’IA du fournisseur, un ensemble de modèles que celui-ci utilisait de manière opérationnelle pour gérer ses relations clients, et non pour alimenter des fonctionnalités de ses produits. Ces modèles comprenaient un modèle de notation de la santé client qui analysait les habitudes d’utilisation de l’entreprise, l’historique de ses tickets de support et son comportement de renouvellement de contrat pour prédire la probabilité d’attrition ; un modèle de valeur vie client qui classait les clients en niveaux influençant la répartition des ressources de support ; et un modèle d’adoption des produits qui identifiait les fonctionnalités que chaque client était susceptible d’acheter et orientait en conséquence les activités marketing et commerciales. Les données opérationnelles de l’entreprise manufacturière (ses habitudes d’utilisation, ses échanges avec le support et son historique contractuel) servaient de données d’entraînement et d’entrées d’inférence pour le programme interne d’IA du fournisseur. L’entreprise n’avait jamais été informée de ces cas d’usage, n’avait jamais consenti à cette utilisation de ses données opérationnelles et n’avait aucune visibilité sur la manière dont ces modèles influaient sur le service qu’elle recevait.
Qu’est-ce que la transparence de l’utilisation de l’IA par les fournisseurs, concrètement ?
La transparence de l’utilisation de l’IA par les fournisseurs est le cadre de divulgation et de responsabilité couvrant toutes les manières dont un fournisseur utilise l’IA d’une façon qui touche l’entreprise cliente, y compris à la fois les fonctionnalités de produits fondées sur l’IA commercialisées auprès du client et les systèmes d’IA internes qui utilisent les données du client à des fins opérationnelles propres au fournisseur, telles que la notation des clients, la classification par valeur vie client, la prédiction de l’attrition, l’orientation du support et l’intelligence commerciale. Une transparence complète en matière d’IA exige la divulgation de ces deux dimensions : ce que l’IA fait pour le client et ce qu’elle fait à son sujet.
L’opacité des programmes internes d’IA constitue la principale lacune de transparence. Les fournisseurs utilisent de plus en plus l’IA en interne pour gérer leurs relations clients et optimiser leurs opérations, des activités commerciales tout à fait légitimes. Le problème d’opacité apparaît lorsque les données opérationnelles du client (ses habitudes d’utilisation, ses échanges avec le support, son historique de communication et son comportement contractuel) servent de données d’entraînement ou d’entrées d’inférence pour ces modèles internes, à l’insu du client ou sans son consentement. Le client a généralement consenti à ce que le fournisseur traite ses données afin de fournir le service. Il n’a généralement pas consenti à ce que ses données servent à construire des modèles qui le classent en tant que client et influencent le service qu’il reçoit.
Le risque de service différencié en est la conséquence concrète. Les systèmes de classification des clients fondés sur l’IA, qui répartissent les ressources de support, hiérarchisent les demandes de fonctionnalités et orientent les activités de réussite client en fonction de la valeur vie client prévue ou de la probabilité d’attrition, créent une qualité de service différenciée : les clients classés à forte valeur reçoivent un traitement différent de celui des clients classés à faible valeur. L’entreprise cliente qui ignore l’existence de ce système de classification ne peut pas évaluer si elle est traitée équitablement ni si la classification est exacte. Une entreprise manufacturière classée à faible valeur vie client parce que ses habitudes d’utilisation laissent penser qu’elle pourrait ne pas renouveler peut recevoir des réponses plus lentes du support, une priorité moindre pour ses demandes de fonctionnalités et un accompagnement réduit en matière de réussite client, sans aucune transparence sur les raisons.
La dimension GDPR et réglementaire s’applique lorsque des données personnelles sont en jeu. Si les données opérationnelles que les fournisseurs utilisent pour l’IA interne comprennent des données personnelles (adresses électroniques d’employés dans les tickets de support, noms dans les journaux d’utilisation, identifiants personnels dans les pistes d’audit), l’utilisation de ces données pour la modélisation de l’IA interne exige une base légale au titre du GDPR. Le traitement de données personnelles aux fins de la fourniture d’un service n’autorise pas automatiquement leur traitement pour construire des modèles de classification des clients. Les fournisseurs qui n’ont pas évalué la base légale de l’utilisation, par leur IA interne, des données opérationnelles des clients peuvent créer une exposition réglementaire pour eux-mêmes comme pour l’entreprise.
Pourquoi c’est important
La transparence de l’utilisation de l’IA par les fournisseurs est importante pour le TPRM, car les données de l’entreprise (ses habitudes d’utilisation, son historique de support et son comportement opérationnel) peuvent être utilisées par les systèmes d’IA du fournisseur d’une manière qui influe sur le service que l’entreprise reçoit, les prix qui lui sont proposés et les décisions stratégiques que le fournisseur prend au sujet de la relation. L’entreprise qui ignore ces utilisations ne peut en évaluer ni l’équité, ni l’exactitude, ni l’incidence sur la relation commerciale.
Là où la plupart des équipes se trompent
La défaillance la plus constante consiste à limiter l’évaluation de la transparence en matière d’IA aux fonctionnalités des produits, c’est-à-dire à l’IA que le fournisseur commercialise et divulgue. Les systèmes d’IA internes qui utilisent les données de l’entreprise à des fins opérationnelles propres au fournisseur ne sont généralement pas divulgués dans la documentation des produits et ne sont généralement pas couverts par les évaluations standard des fournisseurs d’IA.
- Évaluation de l’IA limitée aux fonctionnalités de produits divulguées
- Programme interne d’IA utilisant les données de l’entreprise non divulgué ni évalué
- Risque de service différencié découlant de la classification des clients non évalué
- Base légale de l’utilisation des données clients par l’IA interne non évaluée
- Accord de traitement des données ne couvrant pas l’utilisation des données opérationnelles par l’IA interne
À quoi ressemblent les bonnes pratiques
Les évaluations matures de la transparence en matière d’IA demandent aux fournisseurs de divulguer tous les systèmes d’IA qui traitent des données de l’entreprise, et pas seulement les fonctionnalités des produits, et exigent des engagements contractuels sur les utilisations autorisées des données opérationnelles de l’entreprise pour l’entraînement et l’inférence des modèles d’IA internes.
- Demander la divulgation de tous les systèmes d’IA qui traitent les données opérationnelles de l’entreprise
- Exiger des restrictions sur l’utilisation de l’IA interne dans l’accord de traitement des données
- Interroger sur les systèmes de classification des clients et leur effet sur la prestation de service
- Évaluer la base légale de l’utilisation des données opérationnelles par l’IA interne
- Exiger la notification des nouvelles utilisations internes des données de l’entreprise par l’IA
Outils
Transparence de l’IA : cadres de conformité au règlement européen sur l’IA, NIST AI RMF
Le règlement européen sur l’IA introduit des exigences de transparence pour les systèmes d’IA utilisés dans des relations commerciales susceptibles d’affecter des personnes et des entreprises. Pour les praticiens TPRM concernés par la conformité au règlement européen sur l’IA, comprendre quels systèmes d’IA internes des fournisseurs constituent des systèmes d’IA au sens du règlement, et s’ils satisfont à ses exigences de transparence, fournit un cadre réglementaire pour les exigences de divulgation en matière d’IA.
Enjeux de gouvernance
La difficulté de gouvernance de la transparence des fournisseurs en matière d’IA tient à la sensibilité commerciale de la divulgation des programmes internes d’IA. Les fournisseurs peuvent refuser de divulguer leurs modèles internes de notation et de classification des clients, en invoquant leur sensibilité commerciale. La réponse en matière de gouvernance consiste à exiger la divulgation des usages des données plutôt que des détails des modèles : l’entreprise a le droit de savoir que ses données opérationnelles sont utilisées pour l’IA interne, même si l’architecture du modèle est commercialement sensible.
- Exiger la divulgation de toutes les utilisations des données de l’entreprise pour l’entraînement et l’inférence de l’IA
- Inclure des restrictions sur l’utilisation de l’IA interne dans le DPA
- Poser des questions précises sur les systèmes de notation, de classification et d’orientation des clients
- Exiger la notification des nouvelles utilisations internes de l’IA
- Évaluer la base légale pour les données personnelles figurant dans les données opérationnelles utilisées pour l’IA interne
Si vous êtes une petite équipe
Ajoutez une question à chaque évaluation de fournisseur d’IA : au-delà des fonctionnalités d’IA de votre produit, utilisez-vous en interne des systèmes d’IA qui traitent nos données opérationnelles, y compris nos habitudes d’utilisation, nos tickets de support, notre historique contractuel ou nos échanges, à des fins telles que la notation des clients, la modélisation de la valeur vie client, la prédiction de l’attrition ou l’orientation du support ? Et notre consentement est-il requis pour ces utilisations ? Cette question met au jour le programme interne d’IA que les évaluations des fonctionnalités des produits ne voient pas.
- Interroger sur les systèmes d’IA internes qui traitent les données opérationnelles de l’entreprise
- Poser des questions précises sur la notation, la classification et l’orientation des clients
- Demander si le consentement de l’entreprise est requis pour les utilisations internes de l’IA
- Inclure des restrictions sur l’utilisation de l’IA interne dans le DPA
Ce qu’il faut exiger
Demandez directement :
« Au-delà des fonctionnalités d’IA de votre produit, utilisez-vous en interne des systèmes d’IA qui traitent nos données opérationnelles, y compris nos habitudes d’utilisation, notre historique de support ou notre comportement contractuel, à des fins telles que la notation des clients, la prédiction de l’attrition ou l’orientation du support ? Et ces utilisations sont-elles couvertes par notre accord de traitement des données ? »
Preuves attendues
- Divulgation des systèmes d’IA internes pour les utilisations des données de l’entreprise
- Couverture des utilisations internes de l’IA par l’accord de traitement des données
- Divulgation de la classification et de l’orientation des clients
- Base légale de l’utilisation des données opérationnelles par l’IA interne
Un fournisseur qui confirme la transparence de l’IA de ses produits doit être interrogé sur la transparence de son IA interne. L’IA des produits est ce que le fournisseur divulgue. L’IA interne est ce que le fournisseur utilise. Les deux utilisent les données de l’entreprise. Une seule est généralement évaluée.
Comment le prouver
- Dossiers d’évaluation de la divulgation de l’IA interne
- Couverture des utilisations internes de l’IA par le DPA
- Évaluation de la base légale des données opérationnelles utilisées par l’IA interne
- Dossiers de divulgation de la classification des clients
À retenir
Fonctionnalités d’IA des produits : divulguées, évaluées, sécurisées. IA interne (notation de la santé client, classification par valeur vie client, orientation du support) : non divulguée, non évaluée, alimentée par les données opérationnelles de l’entreprise. L’entreprise savait ce que l’IA faisait pour elle. Elle ne savait pas ce que l’IA faisait à son sujet. La transparence en matière d’IA, c’est la vision complète : ce que l’IA du fournisseur fait pour le client et ce qu’elle fait à son sujet. Les deux utilisent les données de l’entreprise. Les deux influent sur la relation commerciale. Les deux exigent une divulgation. Le DPA qui couvre les fonctionnalités des produits doit aussi couvrir le programme interne d’IA. L’évaluation qui porte sur l’IA des produits doit aussi interroger sur l’IA opérationnelle.