Formation Architecture et modélisation des données Greenplum

Public visé :

Ce cours s'adresse aux spécialistes de l'informatique à la recherche d'une solution pour stocker et traiter de grands volumes de données dans un environnement de système distribué.

Objectif :

Acquérir une connaissance approfondie de l'administration d'un cluster Hadoop.

Cette formation en direct, encadrée par un formateur, <lieu> (en ligne ou en présentiel), s'adresse aux data scientists et ingénieurs de niveau intermédiaire souhaitant utiliser Google Colab et Apache Spark pour le traitement et l'analyse des données massives.

À l'issue de cette formation, les participants seront capables de :

• Configurer un environnement de données massives avec Google Colab et Spark.
• Traiter et analyser de grands ensembles de données efficacement avec Apache Spark.
• Visualiser les données massives dans un environnement collaboratif.
• Intégrer Apache Spark avec des outils basés sur le cloud.

L'analytique des big data consiste à examiner de grands volumes de jeux de données variés afin de mettre en évidence des corrélations, des motifs cachés et d'autres informations pertinentes.

L'industrie de la santé génère d'immenses quantités de données médicales et cliniques complexes et hétérogènes. L'application de l'analytique des big data aux données de santé offre un potentiel considérable pour extraire des informations permettant d'améliorer la prestation des soins. Cependant, l'ampleur de ces jeux de données pose de grands défis en termes d'analyse et d'application pratique dans un environnement clinique.

Lors de cette formation en direct animée par un instructeur (à distance), les participants apprendront comment réaliser des analytiques des big data dans le domaine de la santé en effectuant une série d'exercices pratiques en laboratoire en direct.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer des outils d'analytique des big data tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer les techniques des big data pour traiter les données médicales
• Étudier les systèmes et algorithmes des big data dans le contexte des applications de santé

Audience cible

• Développeurs
• Scientifiques des données

Format du cours

• Cours théorique, discussions, exercices et mise en pratique intensive.

Note

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.

Apache Hadoop est le framework le plus populaire pour le traitement des mégadonnées (Big Data) sur des grilles de serveurs. Au cours de cette formation de trois jours (optionnellement quatre jours), les participants apprendront à connaître les avantages commerciaux et les cas d'usage de Hadoop et de son écosystème, comment planifier le déploiement et l'évolution de la grille, ainsi que comment installer, maintenir, surveiller, résoudre les problèmes et optimiser Hadoop. Ils pratiqueront également le chargement en masse des données sur la grille, se familiariseront avec les différentes distributions de Hadoop et apprendront à installer et à gérer les outils de l'écosystème Hadoop. La formation se terminera par une discussion sur la sécurisation de la grille avec Kerberos.

« … Les documents étaient très bien préparés et couverts de manière approfondie. Le laboratoire était très utile et bien organisé »
— Andrew Nguyen, Ingénieur Principal en Intégration DW, Microsoft Online Advertising

Public cible

Administrateurs Hadoop

Format

Cours magistraux et travaux pratiques en laboratoire, avec un équilibre approximatif de 60 % de cours et 40 % de travaux pratiques.

Apache Hadoop est le framework le plus populaire pour le traitement de gros volumes de données sur des grappes de serveurs. Ce cours présentera aux développeurs les différents composants de l'écosystème Hadoop (HDFS, MapReduce, Pig, Hive et HBase).

Apache Hadoop est l'un des frameworks les plus populaires pour le traitement de Big Data sur des clusters de serveurs. Ce cours explore en détail la gestion des données dans HDFS, ainsi que les aspects avancés de Pig, Hive et HBase. Ces techniques de programmation avancées seront particulièrement bénéfiques aux développeurs Hadoop expérimentés.

Public cible : développeurs

Durée : trois jours

Format : conférences (50 %) et travaux pratiques (50 %).

Public cible :

Ce cours a pour vocation de démystifier la technologie Big Data/Hadoop et de démontrer qu'il n'est pas difficile de la comprendre.

Cette formation en direct, animée par un formateur, se déroule dans Belgique (en ligne ou sur site) et s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants principaux de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribué Hadoop (HDFS) pour mettre à l'échelle un cluster à des centaines ou milliers de nœuds.
• Configurer HDFS pour qu'il fonctionne comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des bases de données NoSQL telles que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Effectuer des tâches administratives telles que la provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Ce cours présente HBase, une base de données NoSQL reposant sur Hadoop. Il s'adresse aux développeurs qui utiliseront HBase pour créer des applications, ainsi qu'aux administrateurs responsables de la gestion des clusters HBase.

Nous guiderons les développeurs à travers l'architecture d'HBase, la modélisation des données et le développement d'applications sur HBase. Le cours aborde également l'utilisation de MapReduce avec HBase, ainsi que certains aspects administratifs liés à l'optimisation des performances. La formation est très pratique et comprend de nombreux exercices en laboratoire.

Durée : 3 jours

Public : Développeurs et Administrateurs

Apache NiFi est une plateforme d'intégration de données et de traitement d'événements open-source basée sur des flux. Elle permet le routage, la transformation et la médiation système automatisés et en temps réel entre des systèmes hétérogènes, grâce à une interface web et un contrôle granulaire.

Cette formation dirigée par un instructeur (en présentiel ou à distance) s'adresse aux administrateurs et ingénieurs de niveau intermédiaire souhaitant déployer, gérer, sécuriser et optimiser les flux de données NiFi dans des environnements de production.

À l'issue de cette formation, les participants seront capables de :

• Installer, configurer et maintenir des clusters Apache NiFi.
• Concevoir et gérer des flux de données provenant de diverses sources et destinations.
• Mettre en œuvre l'automatisation des flux, le routage et la logique de transformation.
• Optimiser les performances, surveiller les opérations et résoudre les problèmes.

Format du cours

• Conférence interactive accompagnée d'une discussion sur l'architecture réelle.
• Travaux pratiques : création, déploiement et gestion des flux.
• Exercices basés sur des scénarios dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.

Lors de cette formation animée par un instructeur à Belgique, les participants apprendront les principes fondamentaux de la programmation basée sur les flux tout en développant diverses extensions de démonstration, composants et processeurs à l'aide d'Apache NiFi.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre l'architecture de NiFi et les concepts liés aux flux de données.
• Développer des extensions en utilisant NiFi et des API tierces.
• Créer leurs propres processeurs Apache NiFi sur mesure.
• Ingérer et traiter des données en temps réel provenant de formats de fichiers disparates et peu courants, ainsi que de diverses sources de données.

Cette formation propose une introduction pratique à la création de flux de traitement de données et de Machine Learning évolutifs à l'aide de PySpark. Les participants apprendront comment Apache Spark s'insère dans les écosystèmes modernes de Big Data et comment traiter efficacement de grands volumes de données en appliquant les principes du calcul distribué.

Lors de cette formation en présentiel animée par un formateur à Belgique, les participants apprendront à utiliser Python et Spark conjointement pour analyser le big data, en réalisant des exercices pratiques.

À l'issue de cette formation, les participants seront capables de :

• Utiliser Spark avec Python pour analyser le Big Data.
• Réaliser des exercices simulant des cas concrets.
• Utiliser différents outils et techniques d'analyse du big data avec PySpark.

Cette formation en présentiel ou en ligne Belgique, encadrée par un instructeur, s'adresse aux développeurs souhaitant utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données volumineux et complexes.

À l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement nécessaire pour commencer à traiter des mégadonnées avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants clés et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des mégadonnées.
• Explorer les outils de l'écosystème Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Flume).
• Construire des systèmes de recommandation par filtrage collaboratif similaires à ceux de Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle les algorithmes d'apprentissage automatique.

Stratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une solution unique. Ses modules Rocket et Intelligence permettent une exploration rapide des données, leur transformation et des analyses avancées dans les environnements d'entreprise.

Cette formation en direct, animée par un formateur (en ligne ou sur site), s'adresse aux professionnels des données de niveau intermédiaire souhaitant utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en mettant l'accent sur les structures de bouclage, les fonctions définies par l'utilisateur et la logique des données avancée.

À l'issue de cette formation, les participants seront capables de :

• Naviguer et travailler au sein de la plateforme Stratio en utilisant les modules Rocket et Intelligence.
• Appliquer PySpark dans le cadre de l'ingestion, de la transformation et de l'analyse des données.
• Utiliser les boucles et la logique conditionnelle pour contrôler les flux de données et les tâches d'ingénierie des fonctionnalités (feature engineering).
• Créer et gérer des fonctions définies par l'utilisateur (UDF) pour des opérations de données réutilisables dans PySpark.

Format de la formation

• Conférence interactive et discussions.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.