4.2 | Aucune note | |
Smile | Internautes | Global |
Pig est un outil de traitement de données qui fait partie de la suite Hadoop et qui permet l’écriture de scripts qui sont éxécutés sur l’infrastructure Hadoop sans être obligé de passer par l’écriture de tâche en Java via le framework MapReduce. Il dispose en outre de fonctionnalités permettant le chargement de données depuis une source externe vers le cluster HDFS ou de fonctionnalités permettant l’export de données pour utilisation par des applications tierces.
Pig s’appuie sur son propre langage nommé Pig Latin. Il permet en outre d’accéder à la couche applicative Java. Ce langage est assez simple ce qui permet au développeur venant d’un autre monde que Java de produire des scripts de traitement s'exécutant sur Hadoop beaucoup plus rapidement.
Dans la pratique, Pig est surtout utilisé pour charger des données externes vers des fichiers HDFS et transformer des fichiers afin de faciliter leur analyse surtout dans des cas où plusieurs étapes sont nécessaires (du fait de la nature procédurale du langage et de sa capacité à stocker des résultats temporaires).
Smile | Internautes (0 avis) |
---|---|
Le graphique sera généré prochainement dès la soumission d'avis |
Cette solution ne possède aucun avis, soyez le premier à en donner un
Notation des utilisateurs Ohloh | 5,00 (2 votes) |
---|---|
Nombre de ligne de code | 370709 lignes |
Nombre de contributeurs (sur les 12 derniers mois) |
7 |
Langages de programmation | Java, XML, 8 Other |
Mots clés | pig hadoop |
Adresse de téléchargement | http://incubator.apache.org/pig/ |
Fiche complète sur Ohloh | https://www.openhub.net/p/pig |
Vous souhaitez donner votre avis ? Merci de noter la solution selon les critères indiqués ci-dessous et de laisser votre évaluation dans la zone de texte.
Etape 1 : Notation et détails