Dans une architecture MPP, les données et les tâches de traitement sont réparties entre plusieurs nœuds ou serveurs, formant ainsi une grappe. Chaque nœud fonctionne de manière indépendante et exécute la partie de la tâche globale qui lui est attribuée. En divisant la charge de travail et en traitant les données en parallèle, le MPP accélère considérablement le traitement et l’analyse des données, ce qui permet d’obtenir des informations et de prendre des décisions plus rapidement.
Ainsi, Denodo entend démocratiser cette technologie en réduisant les coûts d’extraction des données depuis le cloud tout en accélérant les requêtes. Cette évolution offre des gains de performances et simplifie la gouvernance du big data grâce à des connecteurs dédiés aux différents data lakes du marché. De nombreuses entreprises possèdent des data lakes ainsi que des systèmes de gestion de données massives tels que Hadoop, ainsi que des data lakes dans le cloud comme Amazon S3 ou Azure ADLS.
Des capacités de traitement en masse
Cependant, ces systèmes se concentrent uniquement sur le stockage des données et ne fournissent pas de capacités de traitement en masse. Par conséquent, les entreprises doivent investir dans des outils tels que des moteurs SQL sur data lake ou des moteurs MPP pour effectuer ces opérations. Ces outils fonctionnent en utilisant des grappes de serveurs connectés en parallèle à d’énormes sources de données pour les traiter.« Depuis longtemps, nos clients qui utilisent à la fois des data lakes et des moteurs MPP utilisent Denodo pour consolider et optimiser les traitements entre ces moteurs et d’autres sources, sans avoir à répliquer toutes les données dans leur data lake. De plus, nous avons constaté que des clients qui n’avaient pas de moteurs MPP avaient besoin de se connecter à leurs data lakes via Denodo. Cela est techniquement possible, mais n’est pas optimal pour les gros volumes de données pour lesquels l’utilisation de clusters de traitement en parallèle est généralement recommandée. C’est pourquoi, bien que nous ayons toujours été parfaitement intégrés aux solutions MPP du marché, nous avons enrichi la plateforme Denodo dans ce sens », explique Vincent Fages-Gouyou, directeur de la gestion des produits pour la région EMEA chez Denodo.
Simplifier la gouvernance des data lakes
En démocratisant le MPP au sein de l’entreprise et en éliminant les obstacles posés par le data lake, Denodo rend ces capacités de traitement accessibles à des utilisateurs moins technophiles, issus des métiers ou de la business intelligence. Ces utilisateurs peuvent désormais bénéficier facilement de la puissance du MPP grâce à la plateforme Denodo. De plus, Denodo simplifie la gouvernance des data lakes grâce à des outils de gestion dotés d’une interface graphique, contrairement aux interfaces habituellement très techniques utilisées dans ce domaine.L’ajout d’une couche d’intelligence au MPP permet à Denodo de déployer un cluster MPP dans le cloud, au-dessus des services de stockage objet de l’entreprise. Cela permet de traiter les données au plus près de leur source, sans avoir à les extraire du cloud, et de n’extraire que celles qui sont nécessaires, ce qui réduit les coûts. Le data mesh consiste à simplifier les couches d’exécution et d’intégration des données, en s’assurant que les données sont protégées et accessibles, quelle que soit leur origine. L’ajout du MPP, associé à la puissance de Denodo, permet de concrétiser véritablement les promesses du data mesh.
La distribution de Presto par Denodo est prise en charge et maintenue dans l’offre de licence Denodo Enterprise Plus. Ce service intégré est déjà disponible et peut être activé sur Denodo 8.
