Destinée à améliorer et automatiser certaines tâches afin de faciliter et accélérer les processus pour les professionnels de la donnée en entreprise, cette édition, baptisée Winter’ 23, renforce l’automatisation basée sur l’IA de la surveillance des processus. Ce faisant, elle franchit le seuil fonctionnel de la simple observabilité basée sur l’analyse des données collectées. Smart Service assure aussi la surveillance de la création et de l’exécution des jobs. En fait, la nouvelle fonction observe l’exécution des tâches pour repérer des comportements inhabituels et alerter l’administrateur ou l’utilisateur.
L’algorithme d’IA de Smart Service a été entraîné sur un grand nombre d’exécutions pour en déduire des modèles vertueux et alerter en cas de dysfonctionnement. L’objectif est d’éviter que les tâches dévient des processus attendus sans que personne ne s’en aperçoive, quelles qu’en soient la ou les causes. De plus, avec Smart Service les utilisateurs peuvent mettre en pause et reprendre des tâches et utiliser des timeouts intelligents, ce qui réduit le temps de calcul nécessaire et améliore l’efficacité opérationnelle.
De nouveaux connecteurs
Pour l’heure, la fonction se contente d’observer et de remonter les alertes le cas échéant, mais son comportement est appelé à évoluer, car selon Daniel Mayer, VP Product management chez Talend, les versions à venir « pourraient proposer une forme un peu plus active du service qui permettraient d’intervenir automatiquement sur les tâches fautives, comme les interrompre ou les relancer ».Pour collecter les données du plus grand nombre de sources possible, la Winter’ 23 de Data Fabric s’enrichit de nouveaux connecteurs. Avec la fin programmée en 2027 de nombreux déploiements SAP, Winter’ 23 propose des connecteurs certifiés pour SAP S/4HANA et SAP Business Warehouse on HANA, permettant aux entreprises de transférer facilement leurs charges de travail vers ces nouvelles plateformes de données SAP. Winter' 23 prend également en charge les plateformes publicitaires des réseaux sociaux TikTok, Snapchat et Twitter, ainsi que les bases de données Amazon Keyspaces (pour Apache Cassandra), Azure SQL Database, Google Bigtable et Neo4j Aura Cloud. Data Fabric assure également une meilleure prise en charge des cas d’usage en streaming en améliorant le connecteur Kafka, et profite ainsi des dernières innovations de Kafka, comme les nouvelles interfaces de données Apache Spark et le registre de schémas.
Surveiller automatiquement la qualité des données
L’ajout de l’observabilité des données permet aux professionnels de la data de surveiller automatiquement et de manière proactive la qualité de leurs données dans le temps et de fournir des données pour l’accès en libre-service aux données. L’intégration de crawling ou de tags dans les jeux de données permet aux équipes de vérifier la validité et l’utilisation des types de données dans l’ensemble des jeux de données, appliquer des règles de qualité de données contextuelles et surveiller l’évolution de la qualité des données à l’aide du Talend Trust Score amélioré.Talend met également à jour Stitch son service ETL pour le transfert rapide et automatisé de données vers n’importe quelle plateforme cloud. Il permet aux data analystes et aux data citizens de travailler directement sur les données sans l’assistance des équipes IT. Stitch comprend désormais un nouveau contrôle d’accès basé sur les rôles pour assurer une meilleure séparation des tâches d’administration, ainsi que de nouvelles capacités de surveillance des pipelines qui permettront aux équipes data d’obtenir des métriques sur l’ingestion des données, notamment leurs volumes, leur fraîcheur et les changements de schémas. Grâce au mode historique nouvellement ajouté pour Snowflake, les modifications de données à des fins d’analyse historique ou d’audit de conformité peuvent être facilement contrôlées.
