Skip to main content

27 Fév, 2024

Starburst lance une mise en cache multicouche pour accélérer les requêtes

Starburst lance une mise en cache multicouche pour accélérer les requêtes

Reposant sur une structure à 3 couches, cette mise en cache comprend une solution d’indexation intelligente, une mise en cache des résultats et une mise en cache des sous-requêtes dans Starburst Galaxy.
Ces fonctionnalités permettent d’optimiser les data lakehouse des entreprises en termes de coût/performance.

Starburst a annoncé le lancement d’une nouvelle mise en cache multicouche pour sa solution SaaS Starburst Galaxy. Cette nouvelle mise en cache associée à l’observabilité intégrée de Starburst Galaxy permet de répondre à l’augmentation du volume de données et des demandes utilisateurs. Elle facilite le suivi des stratégies adaptatives et intelligentes d’optimisation des requêtes, le tout au sein d’une seule et même plateforme. Cette fonctionnalité personnalisable permet de répondre aux besoins spécifiques des organisations, avec trois types de mise en cache disponibles.

La technologie d’indexation de Starburst, baptisée Warp Speed, identifie et met en cache de manière autonome et intelligente les données les plus utilisées ou les plus pertinentes en fonction des schémas d’utilisation, sans avoir à recourir à des stratégies de partitionnement manuel. Cela accélère les temps d’exécution des requêtes et s’avère utile pour les cas d’utilisation impliquant des données qui doivent être filtrées à travers de nombreuses dimensions, telles que les données liées aux fraudes et à la détection d’anomalies, à l’IoT/Télémétrie, à l’analyse géospatiale, aux flux de clics, à l’analyse client 360 et à l’analyse des journaux/cybersécurité.

La mise en cache des résultats améliore quant à elle les performances des requêtes répétitives en stockant leurs résultats récemment calculés en mémoire, minimisant ainsi la nécessité de les réexécuter. Cette couche décharge le cluster des requêtes redondantes et minimise le travail de calcul, ce qui permet aux utilisateurs d’applications et de tableaux de bord d’obtenir des informations plus rapidement. Ce service s’intègre de manière transparente au cluster Trino, fournissant les résultats localement à l’aide de son protocole tout en maintenant ses mesures de sécurité. Les utilisateurs peuvent activer la mise en cache par cluster, pour personnaliser les paramètres en fonction des caractéristiques de leurs workloads.

Enfin, la mise en cache des sous-requêtes identifie automatiquement les sous-requêtes similaires qui apparaissent plusieurs fois dans une même requête ou dans plusieurs requêtes non identiques, et met en cache les résultats partiels pertinents. Galaxy évite ainsi de recalculer plusieurs fois les résultats de sous-requêtes identiques, ce qui réduit considérablement la charge de calcul et améliore les performances globales de la requête. Tout élément nouveau ou modifié est traité de nouveau en repartant à partir de zéro et recombiné avec ce qui a été mis en cache précédemment, pour des résultats finaux exacts et à jour.