En 2024, le paysage de l’architecture des données est à un tournant crucial, façonné par des avancées technologiques et des défis majeurs tels que le cloud, la gouvernance, et l’intelligence artificielle. Victor Coustenoble, de Starburst, met en lumière six tendances fondamentales qui redéfinissent cette sphère.

L’architecture informatique, qu’elle soit sur site, dans les centres de données, ou les deux, a été marquée par des évolutions significatives. De l’ère des mainframe à celle de l’IA, en passant par les PC et les serveurs et l’émergence des réseaux, puis d’Internet, le rythme de l’évolution a toujours été progressif, suivant une courbe en pente douce. Ce n’est plus le cas depuis que l’IA a bousculé les plans des stratèges de l’informatique, à la suite de la sortie de ChatGPT et de l’accélération sans précédent de l’adoption de cette technologie. L’avènement de l’IA redéfinit fondamentalement la manière dont les entreprises opèrent, innovent et se concurrencent dans un environnement commercial, règlementaire et sociétal en évolution.

Toutefois, même si l’IA a bousculé le marché et redéfini un certain nombre de concepts informatique, c’est véritablement la donnée qui, depuis des années, voire des décennies, sert de stimulant à l’évolution du SI des entreprises. Cette tendance est à l’œuvre depuis les années 90 avec les SGBD, mais elle a connu une véritable avancée avec l’avènement du Big Data et de l’analytique au milieu des années 2000. Une époque où, avec l’avènement d’Internet et de l’interaction directe avec les utilisateurs et les clients via les sites web, les entreprises ont commencé à collecter des volumes de données sans précédent. La nécessité de les exploitera posé de nouveaux défis en termes de stockage, de validation, de traitement et d’analyse.  

Les tendances de fond s’appellent Data Mesh et Data Fabric

À présent, les tendances de fond de l’exploitation de la donnée s’appellent Data Mesh et Data Fabric, signifiant par là que le SI évolue d’un simple outil de stockage et de gestion de données vers un système complexe, intelligent, et de plus en plus autonome, capable d’analyser et d’exploiter de vastes ensembles de données pour une prise de décision stratégique et opérationnelle.

Dans ce contexte d’accélération, l’IA représente un véritable saut quantique, même à l’échelle du temps de l’informatique qui est déjà véloce. Son impact profond et transversal sur les processus d’entreprise, son potentiel d’innovation rapide et les défis uniques qu’elle pose redéfinissent non seulement la façon dont les entreprises fonctionnent, mais aussi la manière dont elles envisagent leur avenir. Victor Coustenoble, expert en architecture de solutions chez Starburst pour l’Europe du Sud, a identifié six tendances clés qui façonneront ce paysage en 2024. Ces tendances reflètent une industrie en pleine mutation, naviguant entre innovation technologique et adaptation stratégique aux enjeux contemporains.
  1. Transition vers le cloud et architectures hybrides
En 2023, la migration vers le cloud est devenue une norme, mais des questions éthiques et logistiques persistent. Les architectures hybrides, combinant les infrastructures locales et le cloud, resteront dominantes en raison de leur flexibilité et de leur capacité à répondre aux contraintes règlementaires et financières. La tendance vers des solutions multicloud est également en hausse, diversifiant les approches de stockage et de traitement des données.
  1. Évolution des data lakes et rivalité des formats de table
Malgré la baisse de popularité d’Hadoop, les Data Lakes restent essentiels pour la flexibilité et la mise à l’échelle des données. Des alternatives à Hadoop émergent, comme les Data Lakes sur site basés sur le stockage d’objets. Par ailleurs, une compétition intense entre différents formats de table, tels qu’Apache Iceberg, Delta Lake et Hudi, influence fortement le secteur.
  1. Montée en puissance du Data Mesh et des Data Products
Le concept de Data Mesh gagne en popularité, bien qu’une approche pragmatique soit nécessaire pour son implémentation. Les entreprises reconnaissent l’impossibilité de centraliser toutes les données en un seul lieu, tout en valorisant le développement de Data Products pour une meilleure gouvernance et utilisation des données.
  1. Défi persistant de la gouvernance des données
La gouvernance reste un aspect crucial, englobant la sécurité contre les menaces telles que les rançongiciels, la gestion des accès, la traçabilité, le catalogage, et l’orchestration des données. Les plateformes de données se concentrent sur le développement d’outils de gouvernance intégrés pour mieux répondre à ces enjeux.
  1. Art de l’Interrogation et de la transformation des Données
Les méthodes d’interrogation et de transformation des données continuent de dépendre de technologies éprouvées. Le SQL reste prédominant pour les requêtes, tandis que Spark et Python sont importants pour la transformation des données, adaptés aux besoins spécifiques des utilisateurs.
  1. Impact croissant de l’IA et de la GenAI
L’intelligence artificielle, et plus particulièrement la GenAI, continue de transformer le secteur des données. Les données jouent un rôle clé dans la formation des modèles d’IA, tandis que la GenAI et les modèles de langage contribuent à l’amélioration des outils et des solutions de données, notamment par la génération automatique de code SQL, de tags, et de documentation détaillée.

ARTICLES SIMILAIRESPLUS DE L'AUTEUR