Le stockage occupe une position stratégique dans la chaîne de traitement des données, en particulier dans les environnements d’inférence. Dans les domaines où les décisions doivent être prises en temps réel, même des délais mineurs peuvent entraîner des conséquences significatives. Par exemple, dans le diagnostic médical assisté par l’IA, un retard dans la fourniture des résultats peut compromettre la prise en charge rapide d’un patient.
De même, dans les systèmes en temps réel ou quasi-temps réel ou les applications de véhicules autonomes, chaque milliseconde compte, et la latence induite par le stockage peut représenter une limite critique. De plus, l’augmentation rapide de la taille et de la complexité des modèles d’IA, ainsi que la diversification des types de données traitées, créent des exigences inédites en matière de stockage.
Une gestion distribuée des métadonnées
Entourées d’architectures performantes comme les GPU Nvidia et des frameworks d’IA capables de traiter simultanément textes, vidéos et images, les infrastructures de stockage non parallèles se révèlent insuffisantes. C’est ce qui a amené les ingénieurs de Pure Storage à développer une architecture de stockage parallélisée au niveau du traitement des données. Conçue sur la base de FlashBlade, FlashBlade//EXA se distingue par sa gestion avancée des métadonnées.Contrairement aux approches traditionnelles qui centralisent souvent la gestion des métadonnées et des données dans des modules monolithiques, FlashBlade//EXA sépare et distribue ces fonctions sur plusieurs nœuds. Les données et les métadonnées peuvent être traitées indépendamment, ce qui réduit les points de tension. Cette désagrégation permet également d’évoluer horizontalement, ajoutant simplement des nœuds pour augmenter la capacité ou la performance.
En intégrant des cartes réseau, Nvidia ConnectX, des commutateurs Spectrum et des bibliothèques de communications accélérées, la solution de Pure Storage constitue une infrastructure optimisée pour des flux de données continus et des traitements simultanés. Il s’agit de pouvoir absorber les brusques montées en charge typiques de l’analytique et de l’inférence. De plus, les bibliothèques de communication accélérées permettent d’exploiter pleinement les capacités des GPU. Cela assure un pipeline fluide pour les entraînements d’IA, éliminant les goulets d’étranglement liés aux E/S et accélérant les cycles de développement et de déploiement.
Une réponse à l’évolution des besoins en IA et HPC
Traditionnellement considérées comme un goulet d’étranglement dans les environnements d’IA, les métadonnées deviennent ici un atout stratégique. L’architecture permet d’évoluer séparément les données et les métadonnées, tout en tirant parti de nœuds de données tiers. Cela garantit une extensibilité et une flexibilité accrue, tout en maintenant des performances stables et prévisibles. Les chiffres fournis par Pure Storage sont éloquents. Lors des tests préliminaires, FlashBlade//EXA-a atteint des performances de lecture supérieures à 10 téraoctets par seconde dans un espace de nommage global.Avec la croissance exponentielle des modèles multimodaux, intégrant des textes, des images et des vidéos, les systèmes de stockage doivent relever des défis multiples. FlashBlade//EXA propose une approche adaptée à des charges de travail exigeantes en termes de disponibilité des données. Pure Storage vise les cas d’usage qui ne supportent pas de latence ou qui nécessite d’immenses quantités de données, comme la reconnaissance d’images, le traitement du langage naturel et la simulation scientifique. Ces charges de travail nécessitent un accès rapide et simultané à des données volumineuses, ce que FlashBlade//EXA est conçu pour offrir. Par ailleurs, la réduction de la complexité de gestion est un autre point notable. En éliminant les réglages manuels et les configurations supplémentaires, FlashBlade//EXA simplifie les opérations.
