Si l’IA doit s’immiscer dans les décisions nous concernant en tant que clients ou utilisateurs, il s’avère nécessaire, vital même pour la pérennité de l’entreprise, de pouvoir contrôler et remonter, étape par étape, les facteurs entrant dans la décision prise par le système d’IA.
Après avoir étudié l’impact réglementaire et bien définir le degré d’interprétabilité en fonction des besoins de chaque service (voir la 3e partie), il s’agit à présent de définir les fondements du fonctionnement du système automatisé de prise de décision. Le but de cette étape est de définir les critères sur lesquels les décisions de l’IA vont reposer. C’est là le cœur même de l’interprétabilité, car il faut créer un modèle à l’intérieur duquel les variables, qui sont autant de couches d’explicabilité du modèle, prises en compte sont précisément déterminées. C’est ce qui permet de différencier une IA boîte-noire des autres.
Étape 4 : Comprendre le besoin spécifique d’interprétabilité
Chaque intervenant peut avoir un besoin différent d’explicabilité et d’interprétabilité : le besoin de confiance, dans le cas des médecins et des patients du projet de traitement de la sclérose en plaques décrit dans la partie 2, ou la capacité d’agir sur les résultats de l’IA, comme dans les exemples d’évaluation des risques maritimes ou de vérification interne, décrits ci-dessous.
Dans d’autres cas, les intervenants peuvent avoir besoin de systèmes d’IA pour fonder leurs décisions sur les facteurs qui peuvent être contrôlés par les êtres humains qui interagissent avec eux.
Prenons, par exemple, un ensemble de données constitué de variables affectant le risque dans l’activité maritime. Certaines variables peuvent être contrôlées, comme le niveau d’expérience de l’équipage à bord du navire, tandis que d’autres ne le peuvent pas, par exemple la situation économique ou politique dans la région commerciale dans laquelle le navire opère. Ils sont introduits dans un système d’IA boîte noire et la sortie montre qu’un navire présente un risque élevé, mais sans savoir pourquoi le modèle a pris cette décision, alors comment les propriétaires ou les sociétés de transport maritime peuvent-ils réduire les facteurs de risque dans cette situation ?
Avec une IA boîte-noire, ils ne peuvent pas. À la place, les organisations pourraient plutôt déployer des modèles d’IA plus faciles à interpréter — mais peut-être moins puissants — tels que des arbres de décision, des modèles linéaires et des combinaisons optimisées des deux. Ces nouveaux modèles peuvent ensuite être comparés aux résultats de la boîte noire en termes de précision, et leur interprétabilité permettra de mieux comprendre la contribution de chaque facteur à l’évaluation globale des risques. Les compagnies maritimes pourraient alors s’attaquer aux facteurs de risque sur lesquels elles exercent un contrôle.
Dans un autre exemple, une organisation décide de mettre en œuvre un système d’IA pour identifier les activités inhabituelles dans son processus de paie et choisit une approche d’apprentissage machine non supervisée pour effectuer cette tâche. Lorsqu’ils utilisent le nouvel outil, les cadres supérieurs se rendent compte que l’équipe de vérification interne ne peut assurer le suivi des activités suspectes signalées par le système, parce qu’ils sont incapables de comprendre ce qui a déclenché la détection de ces anomalies en premier lieu. Dans ce cas, l’ajout d’une couche d’explicabilité au modèle pourrait résoudre le problème et présenter à l’équipe de vérification interne des résultats réalisables.
Source : Christian B. Westermann, Partner et Leader Data et Analytiques, PwC Suisse
