La conception et l’entraînement de modèles de réseaux neuronaux avancés représentent un investissement colossal. D’après une étude d’Epoch AI, le coût d’entraînement des modèles, hors coûts du personnel de R&D, connaît une croissance régulière depuis 2020. ChatGPT-3 (175 milliards de paramètres) a coûté entre 2 et 4 millions de dollars en 2020, tandis que le précurseur de Gemini, PaLM, a coûté entre 3 et 12 millions de dollars en 2022, si l’on ne tient compte que du coût de l’informatique, soit des milliers d’heures de calcul sur des grappes de processeurs graphiques. Les coûts pour l’entraînement de modèles multimodaux est encore plus élevé et ne cesse d’augmenter, à un taux de 2,4 fois par an depuis 2016, affirme l’étude.

Ces dépenses ne sont pas à la portée de la plupart des acteurs économiques, ce qui souligne la valeur considérable d’un modèle préentraîné, à la fois en termes d’investissement initial et de propriété intellectuelle. Ainsi, le vol d’un tel modèle, par l’exfiltration de son architecture et de ses hyperparamètres, représente un butin d’une valeur inestimable. Ceci est particulièrement vrai pour les systèmes installés en périphérie (edge computing), plus facilement accessibles physiquement.

Lire le rayonnement électromagnétique…

Des chercheurs de l’Université de Caroline du Sud aux États-Unis viennent de démontrer qu’il était possible de voler un modèle d’intelligence artificielle sans pirater — de façon numérique (NDLR) — l’appareil sur lequel le modèle fonctionnait. Ceci grâce à une technique inédite qui fonctionne même lorsque le voleur n’a aucune connaissance préalable du logiciel ou de l’architecture qui supporte l’IA. Il suffit, disent-ils, d’exploiter, via une sonde électromagnétique, les mesures des canaux secondaires pour extraire les détails du modèle sans aucune connaissance des structures internes, c’est-à-dire de la boîte noire que sont les accélérateurs en périphérie.

Ces attaques peuvent être classées en deux catégories : des attaques par vol d’hyperparamètres où l’adversaire cherche à connaître l’architecture des modèles entraînés tels que les types de couches et leurs configurations, et les attaques par vol de paramètres où l’adversaire cherche à connaître les valeurs de poids (weights) et de biais entraînées. Les valeurs de poids et de biais entraînées sont les paramètres internes d’un modèle d’apprentissage automatique qui déterminent la façon dont le réseau neuronal
traite l’information.

… pour extraire les hyperparamètres

En effet, les unités de traitement tensoriel à la périphérie du réseau, comme les Google Edge TPU, permettent aujourd’hui de réaliser des inférences localement, évitant ainsi le recours systématique au cloud. Ce phénomène s’inscrit dans un contexte de croissance rapide du marché de l’Edge computing, stimulé par la demande croissante en appareils connectés autonomes. Google, de son côté, occupe une position stratégique sur ce marché, ayant introduit des TPU spécialement conçues pour accélérer les inférences AA en périphérie, dans le but de réduire la latence, de limiter la consommation d’énergie et de protéger (en théorie) la propriété intellectuelle des modèles déployés.

L’étude « TPUXtract » met en lumière une vulnérabilité inédite affectant les accélérateurs matériels commerciaux de Google. Alors que la plupart des travaux antérieurs se focalisaient sur les microcontrôleurs, TPUXtract s’est intéressé spécifiquement aux TPU de Google, réputées pour leurs performances et leur large adoption dans des solutions d’apprentissage automatique du marché. Les auteurs démontrent que, grâce à l’exploitation de canaux auxiliaires électromagnétiques, il est possible d’extraire l’intégralité des hyperparamètres d’un réseau neuronal, qu’il s’agisse du type des couches, de la taille des filtres, du nombre de nœuds ou encore des paramètres de remplissage (padding).

Identification par la collecte de signaux électromagnétiques

L’attaque débute par la mise en place d’une sonde non invasive à proximité du dispositif cible (un Google Edge TPU). Celle-ci capte les émissions électromagnétiques produites par le traitement des données dans les différents cœurs de calcul du TPU. Le flux électromagnétique, complexe et bruité, est enregistré pendant l’inférence du modèle visé. Ces signaux électromagnétiques bruts sont ensuite segmentés afin d’isoler les portions correspondant à des opérations spécifiques du réseau. Les auteurs de l’étude expliquent que chaque type de couche (par exemple, une couche de convolution, une couche dense ou une opération « add »/« concatenate ») génère une signature électromagnétique distincte. Pour atteindre ce niveau de finesse, TPUXtract utilise des techniques de corrélation du signal avec des gabarits (modèles de référence) afin d’identifier précisément où une couche commence et se termine dans la trace.

Contrairement aux approches antérieures qui s’appuyaient sur des modèles d’apprentissage automatique préentraînés et statiques, TPUXtract opte pour une génération en ligne de gabarits. Cette approche, qui ne dépend pas d’un jeu de données particulier, permet d’adapter le processus d’exfiltration à des modèles encore inconnus. Les gabarits sont créés à partir des premières inférences enregistrées, puis utilisés pour reconnaître et extraire les caractéristiques des couches suivantes, même lorsque le modèle varie.

Identification précise de la configuration des couches

Une fois les gabarits définis, chaque couche analysée livre ses secrets : type (convolution, pooling, dense, etc.), taille des filtres, nombre de canaux, fonction d’activation, opérations de remplissage, et ainsi de suite. Selon les chiffres annoncés dans l’étude, cette méthode atteint une précision exceptionnelle de 99,91 % sur un large ensemble de modèles.

Les auteurs de TPUXtract ont également démontré l’efficacité de leur méthode sur des modèles non linéaires, intégrant des couches de type « add » ou « concatenate ». Ces couches, fréquemment présentes dans des architectures avancées comme Inception V3 ou ResNet-50, reflètent la complexité des réseaux neuronaux déployés dans des applications en production. TPUXtract prouve ainsi que son approche n’est pas restreinte aux architectures séquentielles simples.

Validation sur des modèles réels

Les chercheurs ont testé leur cadre sur des modèles largement utilisés dans l’industrie, dont MobileNet V3, Inception V3 et ResNet-50. Ces réseaux neuronaux, développés initialement par des géants du secteur (comme Google pour MobileNet ou Microsoft et d’autres pour ResNet), sont couramment intégrés dans des applications de reconnaissance d’images, d’analyse vidéo ou de détection d’objets. Les résultats obtenus par TPUXtract confirment la capacité de l’attaquant à extraire avec succès les hyperparamètres, soulignant une vulnérabilité profonde dans les accélérateurs ML commerciaux.

Face à cette menace, les auteurs de TPUXtract proposent plusieurs contremesures. Ils suggèrent par exemple l’introduction d’opérations factices pour dérouter l’attaquant, le réarrangement dynamique des couches afin de déstabiliser la génération des gabarits, ou l’injection de bruit électromagnétique concurrent pour masquer les signatures caractéristiques de chaque couche. Toutes ces approches visent à compliquer significativement le travail d’extraction et à augmenter le coût, le temps et la difficulté technique de l’attaque.

Une protection intégrée aux accélérateurs ML

Dans un contexte où les dispositifs embarqués évoluent rapidement et où les modèles d’apprentissage automatique pénètrent des secteurs variés (transport, santé, villes intelligentes, télécommunications, etc.), la sécurité doit être conçue dès l’origine, et non ajoutée a posteriori. L’étude TPUXtract, du fait de son approche méthodique et son application à un échantillon de modèles représentatifs, appelle à une profonde réflexion sur la robustesse des accélérateurs ML déployés dans le monde réel.

À mesure que la demande pour des dispositifs intelligents s’accroît, les géants technologiques comme Google, déjà solidement établis sur le marché, devront intégrer des stratégies de sécurisation toujours plus sophistiquées, non seulement pour assurer la pérennité de leurs solutions matérielles, mais aussi pour préserver la confiance des utilisateurs et des industriels dans un secteur en plein essor. Aussi, la combinaison d’une performance optimisée, d’une faible consommation énergétique et d’une protection avancée des modèles est incontournable.