Cependant, son déploiement et son utilisation exigent une approche pas à pas qui doit permettre une certaine flexibilité aux utilisateurs tout en fixant un cadre pour garantir la sécurité, la confidentialité des données des entreprises et le respect des
informations privées.
Déployer Copilot dans un projet de transformation
Il est fondamental de vérifier le cadre d’implémentation de Copilot dans l’entreprise et notamment les fondamentaux permettant de bénéficier d’une fonctionnalité de différenciation « data » maîtrisée, partagée et pérenne (exploitable). En effet, Copilot doit s’inscrire dans un projet plus large de transformation de l’entreprise par la data qui passe par la constitution d’un système de gestion de la donnée.Ce système, véritable cœur de réacteur de la transformation de l’organisation par la donnée, apporte l’innovation mais aussi un certain nombre de fonctions assurant la maîtrise des données à travers la mise en place d’un méta dictionnaire, des outils de type master data management mais également des fonctions analytiques qui vont intégrer des concepts comme la data fabric et le data mesh. Enfin, des fonctions d’observabilité de pilotage permettant de synchroniser automatiquement la mise à jour de certaines données maîtres.
Ce système, socle de fondation data indispensable pour une mise en production de solution d’IA, doit démontrer un retour sur investissement rapide au risque d’être perçu comme un repository de plus, et de freiner son adoption. A ce titre, intégrer Copilot avec ce système de gestion de données permet d'améliorer les outputs de Copilot et de promouvoir l'adoption de la data et de l'IA à tous les niveaux de l'entreprise, en prouvant concrètement leur valeur.
Cette acculturation de Copilot, et donc de l’usage de l’IA, passe aussi par le fait de laisser aux employés une certaine flexibilité quant à son usage, tout en définissant un cadre pour garantir sa conformité aux codes de l’entreprise. En effet, il peut être intéressant de laisser les utilisateurs, dans un premier temps, dessiner leurs propres chemins vers l’usage de l’IA (et les laisser se tromper) et ensuite créer l’infrastructure et une gouvernance pour un passage à l’échelle, plutôt que d’imposer un parcours à priori.
Intégrer un "Pilote" à base de compréhension du langage naturel
L’objectif est de développer un Pilote de l’entreprise s’appuyant sur un modèle de compréhension naturelle du langage, bonifié par des modèles LLM (Large Language Model). Ce modèle doit être implémenté sur la fondation data de l’entreprise afin d'intégrer de nouvelles données, fournissant ainsi des informations contextuelles spécifiques à la société via des RAG (retrieval augmented generation).Il sera déployé au sein de l’organisation pour analyser les outputs de Copilot, notamment pour comprendre comment capitaliser sur les outputs plus pertinents pour les métiers. La vocation première est de rassembler l’ensemble des contenus générés par les collaborateurs (comptes rendus de réunion, résumés de courriels…) via Copilot pour les synthétiser et faire ressortir à la fois les points forts de l’entreprise et de dysfonctionnement, au travers de l’analyse avec des technologies de NLP de ce corpus de données non structurées.
En amont de l’exécution de ce modèle de NLP, il faudra nettoyer les données provenant de Copilot en intégrant des données de contexte de l’entreprise (par exemple sur le secteur d’activité, la langue, la localisation…) et en faisant du « context matching ».
Alors que l’usage de Copilot est une initiative éminemment individuelle régie par un cadre de gouvernance défini par l’entreprise, ce Pilote permettrait de regrouper et d’analyser ces comportements individuels pour faire apparaître des sujets de fond que l’organisation dans son ensemble doit intégrer dans son plan de transformation pour corriger ses points faibles et/ou capitaliser sur ses points forts.
Cette analyse des outputs pertinents de Copilot se ferait dans le respect absolu de la confidentialité des employés via une anonymisation ou une pseudonymisation des informations permettant d’identifier le collaborateur. En effet, l’intérêt ici n’est pas du tout de pointer du doigt une opinion ou un comportement individuel mais au contraire de regrouper l’ensemble des contenus pour identifier des sujets récurrents (positifs ou négatifs) au niveau de la société.
Par exemple, ce Pilote permettrait de mettre en avant un problème structurel de localisation géographique des équipes de l’entreprise qui aurait conduit à plusieurs résiliations de contrats ou des pertes de marché. A l’inverse, ce Pilote pourrait identifier des facteurs différenciants comme son positionnement tarifaire ou sa faculté à innover qui doivent être mieux exploités et communiqués en interne, mais également auprès des clients et de son écosystème.
Faciliter la gouvernance avec une console de pilotage
L’objectif de cette console est de pouvoir développer un premier prototype de la solution en s’appuyant sur les principaux modèles de fondations du marché, d’y intégrer des données de contexte pour prendre en compte les spécificités de l’entreprise, d’améliorer la structure des questions posées et de permettre un feedback des utilisateurs pour une amélioration en continue du modèle. Cette console permet ainsi d’assurer la surveillance continue de ce modèle d'analyse, assurée par LLMOPS, pour garantir sa fiabilité, sa maîtrise et son efficacité dans le temps.Elle permet également une gouvernance des résultats du modèle en identifiant les cas d’utilisation des données qui ne respectent pas les directives établies par le data office de l’entreprise en matière de gouvernance, de processus et d'outils. Tout ceci afin d'éviter les problèmes de qualité des données et d’assurer le respect des règles de confidentialité et des directives réglementaires tout en étant conforme au code de communication de l’organisation.
Les fonctionnalités délivrées dans une console LLMOPS (Large Language Model Operations) sont assez proches de ce que fournit le MLOPS (Machine Learning Operations) pour l’IA traditionnelle. Les différences sont liées aux spécificités de l’IA générative vs l’IA traditionnelle :
- Le modèle s’appuie sur des modèles de fondation existants et son développement ne part pas d’un terrain vierge.
- La structure et la manière de poser une question au modèle est importante et peut être améliorée en continue (prompt engineering).
- La console LLMOPS doit permettre de prendre en compte des feedback d’utilisateurs par rapport aux résultats du modèle, et la prise en compte de points de vue d’experts pour réentraîner le modèle via le RLHF (Reinforcement Learning Human Feedback).
- Intégrer des données de contexte spécifiques à l’entreprise pour optimiser le modèle de LLM : RAG (retrieval augmented generation).
- Cette console doit permettre le monitoring des performances et de la consommation des modèles de fondation en fonction des différents cas d’usages.
Par Yves Darnige, Data & AI leader chez Kyndryl France
