Le moteur d’analyse distribuée Kylin d’eBay disponible en open source

05/11/2014
Le moteur d’analyse distribuée Kylin d’eBay disponible en open source

Le géant du e-commerce Ebay a annoncé le 20 octobre dernier la disponibilité pour la communauté open source de son produit Kylin, moteur d’analyse distribuée. Conçu pour accélérer l’analyse sur Hadoop et permettre l’utilisation de bases de données compatibles SQL, il fournit une interface SQL et un moteur d’analyse multidimensionnel (OLAP) gérant les jeux de données massifs.

Kylin est utilisé en production dans de nombreuses branches d’eBay. Le cas d’analyse le plus important met en jeu plus de 12 milliards d’enregistrements, générant des cubes de données de plus de 14 TeraBytes.

Le temps de latence de la requête est dans 90 % des cas de moins de cinq secondes. Avec Kylin les analystes peuvent directement accéder à leurs résultats dans l’interface Tableau, se passant des requêtes Hive, ou des commandes shell.

La plateforme Kylin offre donc des caractéristiques importantes pour l’analyse Big Data :

  • Un moteur OLAP extrêmement rapide conçu pour réduire le temps de latence d’Hadoop pour les données de plus de 10 milliards de ligne.
  • Le support ANSI SQL sur l’interface Hadoop
  • Capacité de requêtes interactives sur Hadoop via Kylin en moins d’une seconde
  • Des cubes de requête MOLAP avec une pré-construction dans Kylin au-delà de 10 milliards d’enregistrements bruts
  • L’intégration transparente avec les outils de BI comme Tableau
  • Un driver ODBC open source entièrement développé pour Kylin interagissant avec Tableau.

Les concepts sur lesquels repose Kylin ne sont pas nouveaux comme le pré-calcul de certains résultats. Ces méthodes génèrent des cuboïdes de toutes les combinatoires dimensionnelles et calculent les métriques pour chaque niveau. Avec la croissance du volume de données, ces méthodes deviennent inutilisables, malgré l’augmentation de la puissance des machines. Cependant, l’avantage des calculs distribués d’Hadoop sur plusieurs centaines de nœuds, réduit drastiquement le temps de calcul.

 

Sources : http://www.ebaytechblog.com/

Téléchargement : http://www.kylin.io/

Solutions

comments powered by Disqus
top