Les spécialistes de l'intelligence sur les menaces et les chercheurs en R&D de Recorded Future ont uni leurs forces pour expérimenter quatre scénarios d'utilisation malveillante de l'intelligence artificielle. L'objectif était de démontrer les possibilités offertes par l'utilisation d'attaques basées sur l'IA par les acteurs malveillants. Ils ont évalué les limites et les performances des modèles d'intelligence artificielle actuels, allant des grands modèles de langage aux modèles multimodaux d'images et à la synthèse vocale.
Toutes les expériences ont été menées en utilisant une combinaison de modèles disponibles sur le marché et des modèles open-source, sans ajustement fin ni entraînement, afin de simuler un scénario réaliste accessible aux acteurs malveillants. Selon les résultats clés de l'étude, l'utilisation malveillante de l'IA en 2024 devrait se manifester principalement par des attaques ciblées de type deepfake et des opérations d'influence.
Par ailleurs, l'étude met en lumière l'émergence de logiciels malveillants « auto-optimisants », capables de contourner des mécanismes de détection tels que les règles YARA. Bien que cela représente un défi majeur pour la cybersécurité, ce fait met également en évidence la nécessité de développer des méthodes de détection innovantes telles que Sigma ou Snort.
Les attaques se concrétiseront à travers des deepfakes ciblés
D'après les conclusions de l'étude, l'utilisation malveillante de l'IA en 2024 se concrétisera principalement à travers des attaques ciblées de type deepfake et des campagnes d'influence. Les deepfakes, créés à l'aide d'outils open source, ont déjà été exploités par des cybercriminels pour imiter des dirigeants et des personnalités politiques. L'étude révèle en outre que l'IA peut considérablement renforcer les campagnes de désinformation, entraînant une réduction significative des coûts opérationnels par rapport aux méthodes conventionnelles.« Sur la base de la disponibilité des outils actuels et des résultats de ces quatre expériences, nous estimons que les utilisations malveillantes de l'IA en 2024 résulteront très probablement de deepfakes ciblés et d'opérations d'influence. Il est d'ores et déjà possible de créer des deepfakes à l'aide d'outils open-source et de les utiliser pour usurper l'identité de dirigeants dans le cadre de campagnes d'ingénierie sociale», affirment-ils dans le rapport final.
Ces deepfakes pourraient être intégrés à des campagnes d'ingénierie sociale combinant des fichiers audio et vidéo générés par l'IA avec des logiciels de visioconférence et de voix sur IP. Cela pourrait entraîner une réduction considérable des coûts de production de contenu pour les campagnes d'influence, et les outils assistés par l'IA pourraient faciliter le clonage de sites web légitimes ou la création de faux médias. Les développeurs de logiciels malveillants pourraient exploiter l'IA et des méthodes de détection largement disponibles, comme les règles YARA, pour améliorer leurs souches de logiciels malveillants et éviter d'être détectés.
« Les acteurs de la menace, quel que soit leur niveau de ressources, tireront probablement profit de l'utilisation de l'IA pour la reconnaissance, notamment pour identifier les équipements vulnérables des systèmes de contrôle industriel (ICS) et pour géolocaliser les installations sensibles à partir de renseignements provenant de sources ouvertes (OSINT) », préviennent-ils.
Quatre cas d’utilisation de l’IA offensive
Cas d'utilisation I : des deepfakes plus vraies que les originauxLes capacités open-source actuelles permettent de créer des deepfakes préenregistrés à partir de vidéos ou de clips audio publics, tels que des interviews et des présentations. Bien que les acteurs malveillants puissent utiliser de courts extraits (1 minute) pour entraîner ces modèles, l'acquisition et le prétraitement des clips audio pour une qualité optimale nécessitent toujours l'intervention humaine. Les cas d'utilisation plus avancés, comme le clonage en direct, demandent probablement aux acteurs de menace de contourner les mécanismes de consentement sur les solutions commerciales, car les problèmes de latence sur les modèles open-source limitent probablement leur efficacité dans la diffusion en continu de l'audio et de la vidéo.
Cas d'utilisation II : opérations d'influence sous couverture de légitimité
L'IA peut être employée pour générer efficacement de la désinformation à grande échelle et ciblée sur un public spécifique. Elle permet de produire des récits complexes dans le but de promouvoir des objectifs de désinformation. En outre, l'IA peut être utilisée pour organiser automatiquement un contenu riche (tel que de vraies images) en fonction du texte généré, et peut également aider les humains à cloner des sites web d’information légitimes et des sites gouvernementaux. Bien que le coût des campagnes de désinformation devrait probablement diminuer d’un facteur cent par rapport aux méthodes traditionnelles, la création de modèles pour imiter des sites web légitimes reste une tâche significative nécessitant l'intervention humaine pour produire des plagiats crédibles.
Cas d'utilisation III : des logiciels auto-optimisant et échappant à YARA
L'IA générative peut être exploitée pour contourner les règles YARA basées sur des chaînes, en augmentant le code source de petites variantes de logiciels malveillants et de scripts, ce qui diminue efficacement les taux de détection. Cependant, les défis actuels pour les modèles d'IA générative incluent la création d'un code syntaxiquement correct, la résolution des problèmes de formatage du code et la difficulté à préserver la fonctionnalité après avoir obfusqué le code source.
Cas d'utilisation IV : reconnaissance d'images aériennes et d'ICS
L'IA multimodale peut être déployée pour traiter des images et des vidéos publiques afin de géolocaliser des installations et d'identifier l'équipement des systèmes de contrôle industriel (ICS), y compris les fabricants d'équipements, les modèles, les logiciels, et comment l'équipement est intégré dans d'autres systèmes observés. Cependant, traduire ces informations en données de ciblage exploitables à grande échelle reste difficile, car une analyse humaine est toujours nécessaire pour traiter les informations extraites en vue de leur utilisation dans des opérations de menace physique ou cybernétique.
