Plan du cours

1.1HadoopConcepts

1.1.1HDFS

    La conception de l'interface de ligne de commande HDFS Hadoop Système de fichiers

1.1.2Grappes

    Anatomie d'un cluster Nœud Mater / Nœud Esclave Nom Nœud / Nœud de Données

1.2 Manipulation des données

1.2.1MapReduce détaillé

    Phase de carte Phase de réduction Mélange

1.2.2Analyse avec Map Reduction

    Grouper par avec MapReduce Distributions de fréquence et tri avec MapReduce Traçage des résultats (GNU Plot) Histogrammes avec MapReduce Nuages de points avec MapReduce Analyser des ensembles de données complexes Comptage avec MapReduce et Combiners Créer des rapports

 

1.2.3Nettoyage des données

    Nettoyage de documents Recherche de chaînes floues Liaison d'enregistrements/déduplication de données Transformation et tri des dates d'événements Validation de la fiabilité de la source Supprimer les valeurs aberrantes

1.2.4Extraction et transformation des données

    Transformation des journaux Utilisation d'Apache Pig pour filtrer Utilisation d'Apache Pig pour trier Utilisation d'Apache Pig pour créer des sessions

1.2.5Jointures avancées

    Joindre des données dans le Mapper à l'aide de MapReduce Joindre des données à l'aide d'une jointure répliquée Apache Pig Joindre des données triées à l'aide d'une jointure par fusion Apache Pig Joindre des données asymétriques à l'aide d'une jointure asymétrique Apache Pig Utiliser une jointure côté carte dans Apache Hive Utiliser des jointures externes complètes optimisées dans Apache [1 ] Rejoindre des données à l'aide d'un magasin de valeurs de clé externe

1.3Techniques de diagnostic et d'optimisation des performances

    Carte Enquête sur les pics dans les données d'entrée Identification des problèmes de biais des données côté carte Débit des tâches de cartographie Petits fichiers Fichiers non fractionnables
Réduire Trop peu ou trop de réducteurs
  • Réduire les problèmes de biais des données
  • Réduire le débit des tâches
  • Mélange lent et tri
  • Travaux concurrents et limitation du planificateur
  • Dumps de pile et code non optimisé
  • Pannes matérielles
  • Conflit de processeur
  • Tâches Extraction et visualisation des temps d'exécution des tâches
  • Profiler votre carte et réduire les tâches
  • Évitez le réducteur
  • Filtrer et projeter
  • Utiliser le combinateur
  • Tri rapide avec comparateurs
  • Collecte de données biaisées
  • Réduire l’atténuation des biais
  • Pré requis

    Les participants ne sont pas tenus d'avoir des compétences spécifiques car la formation est axée sur les compétences des utilisateurs finaux tant pour l'administration que pour la manipulation des données sous Apache Hadoop.

     21 heures

    Nombre de participants



    Prix par participant

    Nos Clients témoignent (3)

    Cours Similaires

    Catégories Similaires