Intelligence Artificielle Intelligence Artificielle - Articles L’empreinte carbone de l’entrainement des modèles des IA s’accroit de plus en...
L’empreinte carbone de l’entrainement des modèles des IA s’accroit de plus en plus
L’institut de recherche Epoch AI tire la sonnette d’alarme sur l’augmentation drastique de la consommation énergétique pour entrainer les IA et en particulier les IA génératives. D’évidence, l’empreinte carbone croissante des LLM les plus utilisés doit être questionnée.
Exploitant une centaine de milliers de milliards de paramètres pour ChatGpt4, les grands modèles de langage (LLM) des IA de nouvelle génération sont très gourmands en données et énergie. À plusieurs reprises, avons mentionné ce problème dans IT SOCIAL.
La consommation électrique d’un serveur à base de processeurs NVDIA DGX A100 est de 6,5 kWh et de 10,2 kWh pour les serveurs à base de DGX H100. Il faut traiter un nombre de paramètres croissant, en fonction de la nature des traitements, depuis la recherche en langage naturel jusqu’à la reconnaissance d’image.
L’institut Epoch AI, qui se concentre sur l’évolution et la gouvernance de l’IA, a publié un rapport très instructif qui montre, notamment, que le calcul d'entraînement des modèles d'IA les plus avancés tels ChatGPT4 ou Gemini Ultra augmente de 4 à 5 fois par an. Selon Epoch AI, il est probable que cette croissance se maintienne dans un avenir proche, en l'absence de nouveaux goulets d'étranglement ou de grandes percées technologiques.
Pour mesurer les performances des différentes IA et IA génératives (IAGen), l’unité de mesure est le FLOP (nombre d’opérations en virgule flottante par seconde). Dans le graphique ci-dessous, la puissance de calcul figure en ordonnée en fonction des dates en abscisse. Constat explicite, les IAGen GPT-4 d’Open AI et Gemini Ultra de Google sont les plus puissantes et donc les plus gourmandes en énergie.
La croissance la plus importante est celle de l’IA de META (X7 par an) mais elle est suivie de près par celles d’Open Ai et Google (X5 par an pour les deux).