Les nouvelles fonctionnalités incluent l’intégration d’outils permettant de renforcer les capacités de la plateforme et de faciliter la mise en œuvre de modèles prédictifs et génératifs, que ce soit dans le cloud ou sur site.
Les nouvelles fonctionnalités de Red Hat OpenShift AI, telles que la mise à disposition de modèles en périphérie, la distribution améliorée des modèles, et les charges distribuées avec Ray, CodeFlare et KubeRay apportent des améliorations permettant plus de flexibilité, d’optimisation de l’exploitation des ressources et de l’expérience utilisateur grâce aux espaces de travail flexibles et aux nouvelles possibilités de monitoring des modèles.
Déployer l’IA dans des environnements limités en ressources
La fonctionnalité de mise à disposition de modèles en périphérie permet d’étendre le déploiement des modèles d’IA aux emplacements distants grâce à une configuration OpenShift à un seul nœud. Cela permet de déployer des capacités d’inférence dans des environnements limités en ressources, avec un accès réseau intermittent ou lacunaire. L’observabilité intégrée permet également la gestion et le suivi des performances des modèles déployés.La nouvelle version améliore par ailleurs la distribution des modèles grâce à l’exploitation de multiples serveurs de modèles. Elle inclut le support pour KServe, un distributeur d’inférence de vLLM et de génération de texte, ainsi que des moteurs de distribution pour les LLM et les environnements d’exécution Caikit-nlp-tgis. Ces fonctions permettent aux utilisateurs de déployer des modèles prédictifs et génératifs sur une plateforme unique, réduisant les coûts et simplifiant les opérations.
Charges distribuées avec Ray, CodeFlare et KubeRay
L’intégration de Ray, CodeFlare et KubeRay dans Red Hat OpenShift AI permet un traitement des données et un entraînement des modèles plus rapides et efficaces grâce à l’utilisation de multiples nœuds de cluster. Ray offre un environnement pour l’accélération des charges de travail d’IA, tandis que KubeRay permet de gérer ces charges sur Kubernetes.CodeFlare permet l’orchestration et le monitoring des tâches, simplifiant ainsi la gestion des ressources et l’allocation des processeurs graphiques aux charges les plus pertinents. Cette capacité de distribution améliore considérablement l’efficacité des processus d’IA et optimise l’utilisation des ressources disponibles.
OpenShift AI dispose en outre d’espaces de travail pour les projets et les images de référence supplémentaires. Ils permettent aux data scientistes une exploitation des environnements de développement intégrés (IDE) et des boîtes à outils comme VS Code et RStudio. Ces améliorations sont disponibles en avant-première et comportent l’intégration de la version améliorée de Cuda pour les data scientistes.
Les utilisateurs peuvent en outre s’appuyer sur nouvelles capacités de visualisation pour le monitoring des modèles. Ils proposent des indicateurs de performance et opérationnels. Cette fonctionnalité permet aux entreprises de suivre de près l’efficacité de leurs modèles et d’optimiser les opérations en fonction des données collectées.
Enfin, Red Hat OpenShift AI introduit de nouveaux profils d’accélérateurs qui permettent aux administrateurs de configurer différents types d’accélérateurs matériels pour les workflows de développement et de distribution des modèles. Cette flexibilité permet aux utilisateurs d’accéder facilement au type d’accélérateur adapté à une charge spécifique, optimisant ainsi les performances et l’efficacité des opérations d’IA.
