La prochaine version de ownCloud bénéficiera du savoir-faire du CERN et de AARnet en matière de grille de calcul de très grandes dimensions que le CERN a produit pour les besoins du grand collisionneur de hadrons.

Un des bénéfices de l’architecture ownCloud est sa capacité de mise à l’échelle, de petites installations comme un Raspberry Pi pour quelques utilisateurs à des fermes de stockage gérant un petabyte de données pour près de 500 000 utilisateurs. La collaboration entre le CERN et AARnet a permis de franchir cette barrière du petabyte.

OwnCloud 9.0 développée avec le CERN

Pour élaborer la prochaine version 9.0 de ownCloud, capable de gérer plusieurs petabytes de donnés les équipes de développement de ownCloud ont collaboré avec l’équipe informatique du plus grand laboratoire de physique des particules du monde, l’organisation européenne CERN et le fournisseur d’accès australien des instituts de recherche dénommé AARNET (Australia's Academic and Research Network). Le CERN possède une infrastructure impressionnante pour collecter le petabyte de données produit quotidiennement par le LHC (grand collisionneur de hadrons) et redistribuer l’analyse auprès des 8000 chercheurs de l’institution répartis de par le monde. L’infrastructure dénommée Grid est capable de gérer plus de 10 Gb de données par seconde. Par dessus cette infrastructure ownCloud fournit aux utilisateurs une interface pour le partage et la collaboration. Cette collaboration entre les équipes de ownCloud et le CERN n’est d’ailleurs pas une première : ownCloud avait bénéficié dans le passé d’un framework de test pour les processus de synchronisation de la solution de cloud.

Comment améliorer le passage à l’échelle

OwnCloud a toujours supporté les systèmes de fichier locaux et le stockage NFS. L’exécution de ownCloud sur les infrastructures IBM Spectrum Scale ou les stockages fournis par Fujitsu ont permis de gérer jusqu’à 100 000 utilisateurs. Il y a un an, l’équipe de développent ajoutait le support pour S3 et les stockages compatibles avec Swift pour accroître le nombre de configurations disponibles. Pour ownCloud 9.0 a voulu pousser les limites du système plus loin encore, visant la création d’outils d’administration qui s’intègre plus profondément à l’infrastructure qui les sous-tend, en gérant par exemple les métadonnées. Cela impliquait de ne plus stocker les métadonnées dans la base données ownCloud, qui aurait pu créer un goulot de performance. L’équipe s’est donc inspiré de l’utilisation de ownCloud avec la technologie Grid du CERN, dont la forte intégration a été présentée l’année dernière lors de la ownCloud Contributor Conference.

Les résultats

Cette collaboration a engendré le développement d’une nouvelle interface de programmation pour le stockage et le partage au sein de ownCloud 9.0, rendant possible l’écriture de connecteurs de stockage qui accèdent et utilisent les capacités avancées et les métadonnées directement depuis l’infrastructure de stockage. La gestion par ownCloud du système de fichiers EOS développé pour les besoins du CERN pour les équipes de recherche est un exemple de ce travail. Ce système de fichier fourni des métadonnées comme les Etags et FileIDs qui sont directement utilisé dans l’interface ownCloud. Un exemple d’implémentation est disponible sur gitHub pour illustrer ce type d’intégration profonde. Le développement de ces fonctionnalités a bénéficié pour la conception, l’architecture et l’implémentation de l’API des observations des membres du CERN sur GitHub. Qui plus est, le CERN a annoncé qu’il étendrait l’API.