Ce nouvel outil est actuellement en phase de test dans le cadre du programme AI Feature Drops, permettant d’expérimenter les premières versions des fonctionnalités d’intelligence artificielle dans le navigateur. Le navigateur intègre ainsi un support expérimental de plus de 150 variantes de modèles de langage (LLM) provenant d’environ 50 familles. Cela permet aux développeurs d’accéder à ces LLM et de les gérer en local directement depuis le navigateur. Parmi les variantes disponibles : Llama de Meta, Gemma de Google, Mixtral de Mistral AI, et Vicuna, entre autres.
Ils traitent les instructions directement sur la machine
Le LLM local sera utilisé à la place d’Aria, le navigateur natif d’Opera AI, jusqu’à ce que le chat soit relancé avec Aria ou qu’Aria soit simplement réactivé. En choisissant un LLM, celui-ci sera téléchargé dans l’ordinateur de l’utilisateur. Chacun d’entre eux nécessite entre 2 et 10 Go d’espace de stockage local. Il faut garder à l’esprit qu’un LLM local est susceptible d’être plus lent qu’un LLM basé sur un serveur, considérablement plus lent, car cela dépend des capacités de calcul du matériel.Les LLM locaux traitent les instructions directement sur la machine, sans transmettre les données à l’extérieur de l’ordinateur. Une caractéristique qui est susceptible d’intéresser les entreprises et les développeurs en quête de confidentialité. Dans un contexte de montée en puissance des cyberattaques et des exigences réglementaires toujours plus strictes, la capacité de traiter des données sensibles localement, sans les exposer à des serveurs externes, offre un avantage compétitif non négligeable. Bien que cela puisse rendre le navigateur légèrement plus lent, l’avantage en termes de sécurité est indéniable.
Une configuration « musclée » est nécessaire
Qui plus est, les LLM locaux permettent d’adapter l’usage de l’IA aux besoins des développeurs. Ils peuvent aider à la rédaction, à la traduction, à l’analyse textuelle… De plus, les LLM locaux peuvent fonctionner sans connexion Internet, ce qui les rend utiles dans les situations où la connectivité est limitée ou indisponible. Enfin, les LLM locaux peuvent être personnalisés pour répondre aux besoins spécifiques de chaque utilisateur, offrant ainsi une expérience plus adaptée et efficace.La disponibilité de plus de 150 variantes locales de LLM, issues d’environ 50 familles différentes, telles que Llama de Meta, Gemma de Google, Mixtral de Mistral AI, et Vicuna, permet de proposer une richesse et une diversité pour convenir aux divers besoins des développeurs. Toutefois, ces LLM sont basés sur des réseaux neuronaux profonds, ce qui signifie qu’ils nécessitent une puissance de calcul importante pour fonctionner correctement. Il faut disposer d’une puissance de calcul minimale, spécifiquement optimisée de préférence, via l’adjonction de GPU, de mémoire et de capacités de stockage pour faire « tourner » ces modèles de manière optimale.
Dans certains cas d’usage, ils peuvent grandement bénéficier de l’utilisation d’architectures spécifiques à l’accélération de l’inférence, tel qu’un Tensor Processing Unit (TPU). En somme, une station de travail « musclée » spécifiquement pour l’IA semble indispensable pour utiliser ces LLM en local.
