Le géant du e-commerce Ebay a annoncé le 20 octobre dernier la disponibilité pour la communauté open source de son produit Kylin, moteur d’analyse distribuée. Conçu pour accélérer l’analyse sur Hadoop et permettre l’utilisation de bases de données compatibles SQL, il fournit une interface SQL et un moteur d’analyse multidimensionnel (OLAP) gérant les jeux de données massifs.
Kylin est utilisé en production dans de nombreuses branches d’eBay. Le cas d’analyse le plus important met en jeu plus de 12 milliards d’enregistrements, générant des cubes de données de plus de 14 TeraBytes.
Le temps de latence de la requête est dans 90 % des cas de moins de cinq secondes. Avec Kylin les analystes peuvent directement accéder à leurs résultats dans l’interface Tableau, se passant des requêtes Hive, ou des commandes shell.
La plateforme Kylin offre donc des caractéristiques importantes pour l’analyse Big Data :
Les concepts sur lesquels repose Kylin ne sont pas nouveaux comme le pré-calcul de certains résultats. Ces méthodes génèrent des cuboïdes de toutes les combinatoires dimensionnelles et calculent les métriques pour chaque niveau. Avec la croissance du volume de données, ces méthodes deviennent inutilisables, malgré l’augmentation de la puissance des machines. Cependant, l’avantage des calculs distribués d’Hadoop sur plusieurs centaines de nœuds, réduit drastiquement le temps de calcul.
Sources : http://www.ebaytechblog.com/
Téléchargement : http://www.kylin.io/