Annoncé initialement en septembre dernier, ce laboratoire de recherche en IA bénéficiait d’un financement de 100 millions d’euros de la part d’Iliade. Avec l’entrée d’Éric Schmidt et de Rodolphe Saadé dans son tour de table, le budget est porté à 300 millions d’euros. Parmi ses missions, le laboratoire a pour objectif de contribuer au développement de l’intelligence artificielle générale afin de la rendre accessible à tous en mettant les résultats de ses recherches à la disposition du public, en open science. Kyutai a également pour objectif de faire bénéficier l’ensemble de l’écosystème de l’IA d’avancées significatives dans le développement et l’optimisation des modèles d’IA, de former une nouvelle génération de chercheurs et de faire progresser la compréhension des technologies de l’IA par les institutions, les entreprises et le grand public.
Un supercalculateur DGX Superpod de Nvidia…
Présidé par Xavier Niel, le laboratoire disposera de la puissance de calcul nécessaire à ses travaux de recherche grâce à son partenariat avec Scaleway, qui dispose désormais d’un supercalculateur Nvidia dédié. Celui-ci est un SuperPOD Nvidia équipé de GPU H100 et installé au cœur du Datacenter 5 du groupe, situé en région parisienne. Basé sur l’architecture DGX SuperPod, le supercalculateur est une solution matérielle et logicielle entièrement intégrée, optimisée pour un déploiement en entreprise ou en centre de données.Il propose une mise en réseau deux fois plus rapide et une évolutivité maximale basée sur l’architecture Nvidia. Il est optimisé pour les charges de travail les plus intensives dans des domaines tels que le traitement du langage naturel ou les modèles de recommandation basés sur l’apprentissage profond. Son architecture se compose de 8 GPU Nvidia H100 avec un total de 640 Go de mémoire, de 18 connexions Nvidia NVLink par GPU, fournissant
900 Go/s de bande passante bidirectionnelle de GPU à GPU. Il comprend en outre 4 modules Nvidia NVSwitch, offrant 7,2 téraoctets par seconde de bande passante bidirectionnelle de GPU à GPU. Son interface réseau compte huit adaptateurs Nvidia ConnectX-7 et 2 DPU NVIDIA BlueField à 400 Gbit/s. Enfin, côté CPU, il est pourvu de deux CPU x86 et
2 téraoctets de mémoire système, ainsi que 30 téraoctets de stockage SSD NVMe.
… pour entraîner de grands modèles de langage
Ainsi pourvu, le DGX SuperPod fournit la puissance de calcul nécessaire pour entraîner de grands modèles de langage jusqu’à quatre fois plus vite que les ordinateurs utilisant des versions antérieures de GPU. Cet investissement représente une première étape pour le groupe dans la réalisation de son objectif à court terme d’augmenter la puissance de calcul disponible pour ses clients.La mission scientifique et technologique des chercheurs de Kyutai est de se consacrer à la philosophie de l’open science, visant à rendre la recherche en IA plus accessible et collaborative. Une approche multidisciplinaire qui implique la publication ouverte de résultats de recherche, le partage de connaissances et de données, et la collaboration entre chercheurs, industries et autres institutions. Le laboratoire est conçu par ses créateurs comme un centre de recherche fédérant les scientifiques, les agents technologiques et les industriels pour créer un environnement qui favorise l’innovation, en encourageant la collaboration entre différents domaines, que ce soit la technologie, l’industrie, l’académie ou d’autres secteurs.
Kyutai pourrait également jouer un rôle dans la formation et l’éducation en IA, en formant la prochaine génération de chercheurs, d’ingénieurs et de praticiens. Cela peut inclure des programmes de formation, des workshops, des conférences et d’autres initiatives éducatives.
Enfin, outre ses objectifs technologiques et scientifiques, et son ambition de contribuer significativement à l’écosystème mondial de l’IA et de promouvoir l’excellence européenne dans ce domaine, Kyutai devrait également servir de lieu d’échanges et de discussions sur l’impact sociétal de l’IA, y compris ses considérations éthiques, sa gouvernance, et son influence sur le travail, la vie privée, et la société en général.
