Dell accélère Data Lakehouse avec un générateur d’indexes et du cache

Dell vient d’annoncer Warp Speed pour Dell Data Lakehouse, une fonctionnalité qui apprend de manière autonome les modèles de requête et identifie les données fréquemment consultées pour créer des index. Pour ne pas se surcharger, la fonctionnalité conserve les données rarement consultées là où elles se trouvent. Compatible avec le stockage S3, Warp Speed est désormais disponible pour tous les clients Dell Data Lakehouse.

Cette fonctionnalité repose sur un moteur de requêtes alimenté par Starburst, suite à l’accord stratégique entre les deux firmes, pour « résoudre de manière unique les problèmes d'analyse, d'accès aux données et de plateforme de données de leurs clients les plus innovants ». Starburst gère le calcul des données et les requêtes SQL, puis connecte, fusionne et régit les sources de données afin de fournir une couche d'accès aux outils d'analyse de Business Intelligence, et de ML/AL.

Warp Speed crée automatiquement des index adaptés (bitmap, dictionnaire, arbre) pour chaque bloc de données. Ces index, stockés sur des disques SSD dans les nœuds de calcul, permettent d'accélérer les opérations telles que les regroupements, les filtres et les recherches. Un ensemble de métadonnées qui détaillent la structure et l’organisation des données pour en accélérer l’accès. Ils permettent une exécution plus efficace des requêtes en fournissant des chemins d'accès optimisés aux données recherchées.

Un indexe généré automatiquement

Cet indexe généré automatiquement est secondé par un mécanisme presque aussi vieux que l’informatique, la mise en cache. Ce système de mise en cache propriétaire optimise les performances en fonction de la fréquence d'utilisation des données. Il stocke les blocs de données par colonnes, ce qui élimine les balayages inutiles des tables et permet une plus grande réutilisation des données entre les requêtes, réduisant ainsi les coûts de calcul.

Selon Dell, Warp Speed promet d'accélérer les requêtes de Data Lake de trois à cinq fois sans nécessiter de modifications de la part de l'utilisateur final et permet de réduire la taille des clusters jusqu'à 40 %. Les entreprises peuvent ainsi exécuter plus de requêtes sur de grands clusters ou le même volume sur des clusters plus petits.

Réduire les dépenses en infrastructure.

En réduisant les tailles de clusters et en accélérant les requêtes, Warp Speed permet de minimiser les coûts opérationnels. Les cas d’usage de l’IA pour les décisions opérationnelles nécessitent des systèmes réactifs pour des insights rapides. Par ailleurs la réduction des tailles de clusters permet de réduire les dépenses en infrastructure. Warp Speed élimine les frictions pour les ingénieurs de données, et permet un accès plus rapide et plus facile aux données pour une meilleure exploitation de celles-ci.

Warp Speed est disponible pour tous les clients Dell Data Lakehouse et supporté pour ceux utilisant le stockage compatible S3 comme Data Lake. Aucun changement de licence n'est requis. La configuration des nœuds de calcul inclura des disques SSD, testés et évalués par Dell, pour l'indexation et le cache de Warp Speed.