Meta Dévoile Llama 3.1, son modèle le plus performant à ce jour

Meta a récemment dévoilé Llama 3.1, sa nouvelle génération de modèles d'intelligence artificielle open source. Les ambitions de Meta avec ce modèle sont claires : surpasser les performances des autres concurrents majeurs tels que GPT-4 d'OpenAI et Claude 3.5 d'Anthropic.

Llama 3.1 405B (pour 405 billions de paramètres) se positionne comme le modèle open source le plus avancé à ce jour, selon Meta, et offre des performances améliorées dans plusieurs benchmarks clés par rapport à ses prédécesseurs et compétiteurs.

En avril dernier, Meta a laissé entendre qu'elle travaillait sur quelque chose d'important : un modèle d'IA open-source qui pourrait rivaliser avec les meilleurs modèles d'entreprises comme OpenAI. Ce modèle est désormais disponible en open source. Selon une lettre de Mark Zuckerberg publiée sur le blog de Meta, les modèles d'IA à code source ouvert finiront par dépasser les modèles propriétaires, un peu comme Linux est devenu le système d'exploitation à code source ouvert dominant.

Llama 3.1 405B est beaucoup plus avancé que les petits modèles de Llama 3 qui ont été mis sur le marché il y a quelques mois. Avec ses 405 milliards de paramètres, il a été entraîné sur plus de 15 trillions de tokens en utilisant 16 000 GPU H100 de Nvidia. Il a une longueur de contexte de 128k, peut discuter en huit langues. Cela permet de prendre en charge des cas d'utilisation avancés tels que la synthèse de textes longs, les agents conversationnels multilingues et les assistants de codage.

Meta a également modifié sa licence pour permettre aux développeurs d'utiliser les résultats des modèles Llama, y compris le 405B, pour améliorer d'autres modèles. Ces modèles sont disponibles en téléchargement sur llama.meta.com et Hugging Face, ainsi que pour le développement sur les plateformes partenaires.

Pour cette version, Meta a évalué les performances de Lllama 3.1 sur plus de 150 ensembles de données de référence couvrant une large gamme de langues. De plus, des évaluations humaines approfondies ont été réalisées pour comparer Llama 3.1 avec des modèles concurrents dans des scénarios réels. Les résultats expérimentaux suggèrent que le modèle phare de Meta est compétitif avec les principaux modèles de base, y compris GPT-4, GPT-4o et Claude 3.5 Sonnet.