Récemment, un groupe d'entreprises technologiques leaders du secteur a lancé la Coalition for Secure AI (CoSAI) afin d'aborder les principaux enjeux de sécurité de l'IA, notamment : la sécurité de la chaîne d'approvisionnement logicielle pour les systèmes d'IA, préparer les équipes à l'évolution du paysage de la sécurité et la gouvernance des risques liés à l'IA. En effet, alors que les pirates informatiques utilisent de plus en plus l'intelligence artificielle pour créer des e-mails de phishing et des cyberattaques de type deep fakes de plus en plus élaborées, la sécurité de l'IA est plus importante que jamais.
Il y a quelques années, lors de la conférence Black Hat sur la sécurité, l'agence technologique gouvernementale de Singapour a présenté les résultats d'une expérience au cours de laquelle une équipe de sécurité a envoyé des simulations de courriels de phishing à des utilisateurs internes. Le nombre de personnes ayant cliqué sur les liens contenus dans les courriels générés par l'IA était nettement supérieur à celui de ceux
rédigés par des humains.
La mise en place d’initiatives telles que la CoSAI sont donc cruciales, car elles permettent en effet de se concentrer sur la sécurité de la chaîne d'approvisionnement logicielle pour les systèmes d'IA. La chaîne d'approvisionnement de l'IA couvre l'ensemble du cycle de vie des systèmes d'IA, de la collecte des données et l’entraînement jusqu'au déploiement et la maintenance. En raison de la complexité et de l'interconnexion de cet environnement, les vulnérabilités, tous niveaux confondus, peuvent affecter l'ensemble du système.
Les systèmes d'IA dépendent souvent de bibliothèques, de frameworks et de composants tiers qui, tout en accélérant le développement, peuvent engendrer de potentielles vulnérabilités. Il est donc crucial d'utiliser des outils automatisés pour vérifier et résoudre régulièrement les problèmes de sécurité liés à ces dépendances.
En outre, la disponibilité généralisée des grands modèles de langage (LLM) en open-source nécessite un suivi rigoureux de la provenance pour vérifier l'origine mais aussi l'intégrité des modèles et des ensembles de données. Des outils de sécurité automatisés devraient également être utilisés pour rechercher les failles et les programmes malveillants dans ces modèles et ces ensembles de données. De même, les LLM on-device peuvent offrir une meilleure sécurité des données, car le calcul est effectué sur le terminal sans qu'il ne soit nécessaire de se connecter au cloud.
En ce qui concerne les sources fermées, la nature exclusive du modèle est capable d’assurer la sécurité par l'obscurité, ce qui complique l'exploitation des vulnérabilités par des acteurs malveillants. Toutefois, cela implique également que l'identification et la résolution des problèmes de sécurité pourraient entraîner un processus plus long.
Avec l'open source, la sécurité est renforcée par les efforts de collaboration de la communauté. La revue minutieuse du code par plusieurs personnes facilite la détection et la correction rapide des failles de sécurité. Néanmoins, l'exposition publique du code peut révéler de potentielles faiblesses.
La CoSAI met l’accent sur la gouvernance de la sécurité de l'IA à un moment-clé. En effet, l'Institut national des sciences et de la technologie (NIST) a publié cette année un document décelant quatre types d'attaques par machine learning : l'empoisonnement des données, l'utilisation abusive des données, les atteintes à la vie privée ainsi que les attaques d'évasion contre les systèmes d'IA prédictifs et génératifs.
La loi européenne sur l'IA (AI Act) souligne également la nécessité d'adopter des mesures de cybersécurité pour prévenir, détecter, répondre, résoudre et contrôler certaines des attaques décrites ci-dessus.
Les entreprises peuvent partager leur expertise en participant au processus régulatoire et en menant des enquêtes en collaborant avec des clients, des partenaires, des associations de dirigeants du secteur ainsi que des instituts de recherche. Leur engagement mutuel en faveur de l'innovation exige que l'IA soit sécurisée. La gouvernance de la sécurité de l'IA nécessite des ressources spécialisées pour faire face aux défis et aux risques uniques associés à cette technologie. Créer une bibliothèque de référence destinée à cartographier les risques et les contrôles permet de garantir des pratiques de sécurité de l'IA cohérentes dans l'ensemble de l'industrie.
En outre, une liste de contrôle permettant d’évaluer la maturité de la sécurité de l'IA et un mécanisme de notation standardisé permettraient aux organisations de réaliser des auto-évaluations de leurs mesures de sécurité de l'IA. Ce processus peut donner aux clients l'assurance de la sécurité des produits relatifs à cette technologie. Cette approche est similaire aux pratiques sécurisées du cycle de développement des logiciels (SDLC) déjà utilisées par les organisations par le biais d'évaluations du modèle de maturité de l'assurance logicielle (SAMM).
Les produits et les solutions peuvent ensuite être utilisés dans des applications qui aident les organisations à se conformer aux normes HIPAA, PCI-DSS et GDPR, à la validation FIPS-140 et aux Critères communs appliqués aux produits. Les organisations devraient chercher à tirer parti des outils d'IA, des kits de développement logiciel, des API et des outils de développement de leurs partenaires technologiques pour créer des services numériques sécurisés et évolutifs facilement et rapidement.
Comme elle le font pour la cybersécurité et d'autres initiatives nécessitant une coordination globale de l'organisation, il est essentiel que les entreprises continuent à faire évoluer les processus, les principes, les outils et la formation en matière d'IA tout en garantissant la cohérence et la conformité grâce à un modèle de gouvernance interne en étoile.
Par Srikrishna Shankavaram, architecte principal en cybersécurité, département technologique chez Zebra Technologies
