Formation Big Data en Louvain

Ce formation en direct (en ligne ou sur site) est destinée aux scientifiques des données et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de grandes masses de données.

À la fin de cette formation, les participants seront capables de :

• Configurer un environnement big data en utilisant Google Colab et Spark.
• Traiter et analyser des jeux de données volumineux efficacement avec Apache Spark.
• Visualiser les grands ensembles de données dans un environnement collaboratif.
• Intégrer Apache Spark avec des outils basés sur le cloud.

Stratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule solution. Ses modules Rocket et Intelligence permettent une exploration rapide des données, leur transformation et des analyses avancées dans les environnements d’entreprise.

Cette formation dispensée par un formateur (en ligne ou sur site) s'adresse aux professionnels de niveau intermédiaire en données qui souhaitent utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en se concentrant sur les structures de boucle, les fonctions définies par l'utilisateur et la logique des données avancée.

À la fin de cette formation, les participants pourront :

• Naviguer et travailler au sein de la plateforme Stratio en utilisant les modules Rocket et Intelligence.
• Appliquer PySpark dans le contexte d'ingestion, de transformation et d'analyse des données.
• Utiliser des boucles et une logique conditionnelle pour contrôler les flux de travail des données et les tâches d'ingénierie des fonctionnalités.
• Créer et gérer des fonctions définies par l'utilisateur (UDFs) pour les opérations réutilisables des données dans PySpark.

Format de la Formation

• Cours interactif et discussion.
• De nombreuses exercices et pratiques.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de Personnalisation du Cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en faire la demande.

Data Warehousing est la pratique de concevoir, construire et gérer des dépôts centralisés de données qui soutiennent l'analyse, le reporting et la prise de décision.

Cette formation en direct encadrée par un instructeur (en ligne ou sur place) s'adresse aux professionnels intermédiaires en données souhaitant modéliser des données dimensionnelles, construire des pipelines ETL robustes et optimiser les charges de travail analytiques.

À la fin de cette formation, les participants seront capables de :

• Expliquer les concepts et architectures clés du Data Warehousing.
• Concevoir des modèles dimensionnels et choisir entre les schémas en étoile et en flocon.
• Bâtir et orchestrer de manière fiable des pipelines ETL et ELT.
• Distinguer les charges de travail OLTP d'OLAP et optimiser pour l'analyse.

Format du cours

• Cours interactif et discussion.
• Bien des exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire vivant.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Les participants qui suivront cette formation en direct et dirigée par un instructeur dans Louvain acquerront une compréhension pratique et réelle de Big Data et des technologies, méthodologies et outils qui y sont associés.

Les participants auront l'occasion de mettre en pratique ces connaissances par le biais d'exercices pratiques. L'interaction du groupe et le retour d'information de l'instructeur constituent une composante importante du cours.

Le cours commence par une introduction aux concepts élémentaires de Big Data, puis progresse vers les langages de programmation et les méthodologies utilisées pour réaliser Data Analysis. Enfin, nous discutons des outils et de l'infrastructure qui permettent le stockage Big Data, le traitement distribué et la Scalabilité.

Greenplum est une plateforme de données open-source avec traitement massivement parallèle (MPP) conçue pour les analyses et les environnements de données à grande échelle.

Ce cours en direct dirigé par un formateur (en ligne ou sur place) s'adresse aux utilisateurs techniques intermédiaires et avancés qui souhaitent comprendre l'architecture interne de Greenplum, concevoir des modèles de données optimisés et appliquer une haute performance SQL dans les environnements distribués.

À la fin de ce cours, les participants seront capables de :

• Comprendre l'architecture sans partage de Greenplum et son modèle de parallélisme.
• Définir des structures de tables et des partitions distribuées optimisées pour la performance des requêtes.
• Utiliser des stratégies d'indexation, des formats de stockage et des techniques de conception physique.
• Interpréter les plans EXPLAIN et optimiser les requêtes en utilisant les meilleures pratiques.

Format du cours

• Cours interactif et discussion.
• Bien des exercices et de la pratique.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour arranger cela.

Greenplum est une plateforme de données parallèle massive et open-source basée sur PostgreSQL, conçue pour l'analyse avancée et le stockage de données à grande échelle.

Cette formation en direct (en ligne ou sur site) sous la direction d'un formateur est destinée aux administrateurs intermédiaires qui souhaitent installer, configurer et gérer efficacement des environnements Greenplum, y compris la gestion des mises à jour système et des bibliothèques.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer un cluster Greenplum prêt pour la production.
• Gérer les mises à jour du système et appliquer des correctifs en toute sécurité.
• Gérer les bibliothèques Greenplum pour l'analyse et les extensions.
• Dépanner et surveiller les systèmes Greenplum.

Format de la formation

• Cours interactif et discussion.
• Utilisation pratique de Greenplum dans un environnement de laboratoire contrôlé.
• Exercices guidés axés sur l'installation du cluster, les workflows de mise à niveau et les extensions système.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours basée sur votre environnement ou plateforme de données, veuillez nous contacter pour arranger cela.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) est destinée aux professionnels des données de niveau avancé qui souhaitent optimiser les flux de traitement des données, assurer l'intégrité des données et mettre en œuvre des solutions de data lakehouse robustes qui peuvent gérer les complexités des applications modernes de big data.

A l'issue de cette formation, les participants seront en mesure de :

• Acquérir une compréhension approfondie de l'architecture d'Iceberg, y compris la gestion des métadonnées et la disposition des fichiers.
• Configurer Iceberg pour des performances optimales dans divers environnements et l'intégrer à plusieurs moteurs de traitement de données.
• Gérer des tables Iceberg à grande échelle, effectuer des changements de schéma complexes et gérer l'évolution des partitions.
• Maîtriser les techniques permettant d'optimiser les performances des requêtes et l'efficacité de l'analyse des données pour les grands ensembles de données.
• Mettre en œuvre des mécanismes pour assurer la cohérence des données, gérer les garanties transactionnelles et gérer les défaillances dans les environnements distribués.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) s'adresse aux professionnels des données de niveau débutant qui souhaitent acquérir les connaissances et les compétences nécessaires pour utiliser efficacement Apache Iceberg afin de gérer des ensembles de données à grande échelle, d'assurer l'intégrité des données et d'optimiser les flux de travail pour le traitement des données.

A l'issue de cette formation, les participants seront capables de :

• Acquérir une compréhension approfondie de l'architecture, des fonctionnalités et des avantages d'Apache Iceberg.
• Apprendre les formats de table, le partitionnement, l'évolution des schémas et les capacités de déplacement dans le temps.
• Installer et configurer Apache Iceberg dans différents environnements.
• Créer, gérer et manipuler des tables Iceberg.
• Comprendre le processus de migration des données d'autres formats de table vers Iceberg.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) s'adresse aux professionnels de l'informatique de niveau intermédiaire qui souhaitent améliorer leurs compétences en matière d'architecture de données, de gouvernance, de cloud computing et de technologies big data afin de gérer et d'analyser efficacement les grands ensembles de données pour la migration des données au sein de leur organisation.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre les concepts fondamentaux et les composants des différentes architectures de données.
• Comprendre les principes de la gouvernance des données et leur importance dans les environnements réglementaires.
• Mettre en œuvre et gérer des cadres de gouvernance des données tels que Dama et Togaf.
• Exploiter les plateformes en nuage pour un stockage, un traitement et une gestion efficaces des données.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) est destinée aux ingénieurs de données de niveau intermédiaire qui souhaitent apprendre à utiliser Azure Data Lake Storage Gen2 pour des solutions d'analyse de données efficaces.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre l'architecture et les principales fonctionnalités de Azure Data Lake Storage Gen2.
• Optimiser le stockage et l'accès aux données en termes de coûts et de performances.
• Intégrer Azure Data Lake Storage Gen2 avec d'autres services Azure pour l'analyse et le traitement des données.
• Développer des solutions à l'aide de l'API Azure Data Lake Storage Gen2.
• Dépanner les problèmes courants et optimiser les stratégies de stockage.

Cette formation en Louvain (en ligne ou sur site) est destinée aux développeurs qui souhaitent utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données complexes et volumineux.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement nécessaire pour commencer à traiter les big data avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants de base et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des big data.
• Explorer les outils de l'écosystème Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation par filtrage collaboratif similaires à Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle des algorithmes d'apprentissage automatique.

Big Data et l'Analyse Avancée est l'application de techniques et outils sophistiqués pour analyser de grands ensembles de données complexes afin d'en tirer des insights exploitables et prendre des décisions stratégiques.

Cette formation dispensée par un formateur (en ligne ou sur site) s'adresse aux professionnels avancés des données souhaitant utiliser des méthodes analytiques à la pointe et des technologies de big data pour l'analyse prédictive, prescriptive et en temps réel.

À la fin de cette formation, les participants seront capables de :

• Concevoir et mettre en œuvre des pipelines de traitement de données à grande échelle pour les données structurées et non structurées.
• Appliquer des techniques d'apprentissage automatique avancé et profond à de vastes jeux de données.
• Tirer parti des cadres de calcul distribué pour l'analyse en temps réel et le flux de données.
• Intégrer l'analyse de big data dans les systèmes d'intelligence d'affaires et de prise de décision.

Format du cours

• Cours interactif avec discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour arranger cela.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) est destinée aux professionnels de l'informatique de niveau intermédiaire qui souhaitent avoir une compréhension complète d'IBM DataStage à la fois du point de vue de l'administration et du développement, leur permettant de gérer et d'utiliser cet outil de manière efficace dans leurs lieux de travail respectifs.

A l'issue de cette formation, les participants seront capables de :

• Comprendre les concepts fondamentaux de DataStage.
• Apprendre à installer, configurer et gérer efficacement les environnements DataStage.
• Se connecter à diverses sources de données et extraire efficacement des données à partir de bases de données, de fichiers plats et de sources externes.
• Mettre en œuvre des techniques efficaces de chargement de données.

Cette formation en direct avec instructeur à Louvain (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

Les participants qui suivent cette formation en direct et dirigée par un instructeur en <loc&gt ; acquerront une compréhension pratique et réelle de Big Data et des technologies, méthodologies et outils qui y sont associés.

Les participants auront l'occasion de mettre en pratique ces connaissances par le biais d'exercices pratiques. L'interaction au sein du groupe et le retour d'information de l'instructeur constituent une composante importante du cours.

Le cours commence par une introduction aux concepts élémentaires du Big Data, puis progresse vers les langages de programmation et les méthodologies utilisées pour effectuer l'analyse des données. Enfin, nous discutons des outils et de l'infrastructure qui permettent le stockage des Big Data, le traitement distribué et la Scalabilité.

Au cours de cette formation en direct avec instructeur à Louvain, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.

A la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.

Public cible :

Ce cours est destiné aux spécialistes des TIC à la recherche d'une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Goal :

Connaissance approfondie de l'administration des clusters Hadoop.

Les progrès technologiques et la quantité croissante d'informations transforment la manière dont les activités sont menées dans de nombreux secteurs, y compris celui de l'administration. [Les taux de production de données et d'archivage numérique des administrations sont en hausse en raison de la croissance rapide des appareils et applications mobiles, des capteurs et appareils intelligents, des solutions d'informatique en nuage et des portails destinés aux citoyens. À mesure que l'information numérique se développe et devient plus complexe, la gestion, le traitement, le stockage, la sécurité et l'élimination de l'information deviennent également plus complexes. De nouveaux outils de capture, de recherche, de découverte et d'analyse aident les organisations à tirer parti de leurs données non structurées. Le marché gouvernemental est à un point d'inflexion, réalisant que l'information est un actif stratégique et que le gouvernement doit protéger, exploiter et analyser les informations structurées et non structurées pour mieux servir et répondre aux exigences de la mission. Alors que les dirigeants gouvernementaux s'efforcent de faire évoluer les organisations axées sur les données afin d'accomplir leur mission avec succès, ils préparent le terrain pour corréler les dépendances entre les événements, les personnes, les processus et les informations.

Les solutions gouvernementales à haute valeur ajoutée seront créées à partir d'un mélange des technologies les plus perturbatrices :

• Appareils et applications mobiles
• Services en nuage
• Technologies et réseaux sociaux d'entreprise
• Big Data et l'analytique

IDC prévoit que d'ici 2020, le secteur des technologies de l'information atteindra 5 000 milliards de dollars, soit environ 1 700 milliards de dollars de plus qu'aujourd'hui, et que 80 % de la croissance du secteur sera tirée par ces technologies de la troisième plate-forme. À long terme, ces technologies seront des outils essentiels pour gérer la complexité de l'information numérique croissante. La technologie Big Data est l'une des solutions intelligentes de l'industrie et permet au gouvernement de prendre de meilleures décisions en agissant sur la base de modèles révélés par l'analyse de grands volumes de données - liées et non liées, structurées et non structurées.

Pour donner un sens à ces volumes de données, il faut des outils et des technologies de pointe capables d'analyser et d'extraire des connaissances utiles à partir de flux d'informations vastes et diversifiés", ont écrit Tom Kalil et Fen Zhao, du Bureau de la politique scientifique et technologique de la Maison Blanche, dans un article publié sur le blog du Bureau de la politique scientifique et technologique.

La Maison Blanche a fait un pas en avant pour aider les agences à trouver ces technologies en créant l'initiative nationale de recherche et de développement Big Data en 2012. Cette initiative prévoyait plus de 200 millions de dollars pour tirer le meilleur parti de l'explosion du Big Data et des outils nécessaires pour l'analyser.

Les défis que pose le Big Data sont presque aussi redoutables que ses promesses sont encourageantes. Le stockage efficace des données est l'un de ces défis. Comme toujours, les budgets sont serrés, les agences doivent donc minimiser le prix du stockage par mégaoctet et garder les données facilement accessibles pour que les utilisateurs puissent les obtenir quand ils le veulent et comme ils le veulent. La sauvegarde de quantités massives de données accentue le défi.

L'analyse efficace des données est un autre défi majeur. De nombreuses agences utilisent des outils commerciaux qui leur permettent de passer au crible les montagnes de données, en repérant les tendances qui peuvent les aider à fonctionner plus efficacement. (Une étude récente de MeriTalk a révélé que les responsables informatiques fédéraux pensent que Big Data pourrait aider les agences à économiser plus de 500 milliards de dollars tout en remplissant les objectifs de leur mission).

Les outils Big Data développés sur mesure permettent également aux agences de répondre à la nécessité d'analyser leurs données. Par exemple, le Computational Data Analytics Group du Oak Ridge National Laboratory a mis son système d'analyse de données Piranha à la disposition d'autres agences. Ce système a aidé des chercheurs en médecine à trouver un lien permettant d'alerter les médecins en cas d'anévrisme aortique avant qu'il ne se produise. Il est également utilisé pour des tâches plus banales, telles que l'examen de CV pour mettre en relation des candidats à l'emploi et des responsables du recrutement.

Jour 1 - fournit un aperçu de haut niveau des domaines essentiels du Big Data . Le module est divisé en une série de sections, chacune étant accompagnée d'un exercice pratique.

Jour 2 - explore une gamme de sujets qui associent des pratiques et des outils d'analyse aux environnements Big Data . Il n'entre pas dans les détails de mise en œuvre ou de programmation, mais conserve la couverture à un niveau conceptuel, en se concentrant sur des sujets permettant aux participants de développer une compréhension complète des fonctions d'analyse communes offertes par Big Data solutions Big Data .

Jour 3 - donne un aperçu des sujets fondamentaux et essentiels liés à l’architecture de la plateforme de la solution Big Data . Il couvre Big Data mécanismes Big Data requis pour le développement d'une plate-forme de solution Big Data et les options architecturales pour l'assemblage d'une plate-forme de traitement de données. Des scénarios courants sont également présentés pour fournir une compréhension de base de la manière dont une plate-forme de solution Big Data est généralement utilisée.

Jour 4: poursuit le troisième jour en explorant des sujets avancés relatifs à l'architecture de la plateforme de la solution Big Data . En particulier, différentes couches architecturales constituant la plate-forme de solution Big Data sont introduites et discutées, notamment les sources de données, l'entrée de données, le stockage de données, le traitement de données et la sécurité.

Jour 5 - couvre un certain nombre d’exercices et de problèmes conçus pour tester la capacité des délégués à appliquer leurs connaissances des sujets traités les jours 3 et 4.

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Au cours de cette formation en direct à Louvain, les participants apprendront l'état d'esprit avec lequel il faut aborder les technologies Big Data, évaluer leur impact sur les processus et politiques existants et mettre en œuvre ces technologies dans le but d'identifier les activités criminelles et de prévenir la criminalité. Des études de cas d'organismes d'application de la loi du monde entier seront examinées afin de mieux comprendre leurs approches, leurs défis et leurs résultats en matière d'adoption.

À l'issue de cette formation, les participants seront en mesure de :

• Combiner la technologie Big Data avec les processus traditionnels de collecte de données pour reconstituer une histoire au cours d'une enquête.
• Mettre en œuvre des solutions industrielles de stockage et de traitement des big data pour l'analyse des données.
• Préparer une proposition pour l'adoption des outils et des processus les plus adéquats pour permettre une approche axée sur les données dans les enquêtes criminelles.

Big Data désigne des solutions destinées au stockage et au traitement de grands ensembles de données. Développé par Go Ogle au départ, ces Big Data volumes de Big Data des solutions ont évolué et inspiré d' autres projets similaires, dont beaucoup sont disponibles en open source. R est un langage de programmation populaire dans le secteur financier.

Lorsque les technologies de stockage traditionnelles ne gèrent pas la quantité de données que vous avez besoin de stocker, il existe des centaines d’alternatives. Ce cours essaie de montrer aux participants quelles sont les alternatives pour stocker et analyser le Big Data et quels sont leurs avantages et leurs inconvénients.

Ce cours est principalement axé sur la discussion et la présentation de solutions, bien que des exercices pratiques soient disponibles sur demande.

Le cours fait partie des compétences de Data Scientist (domaine: données et technologie).

Cette session de formation en classe explorera Big Data. Les délégués disposeront d'exemples informatiques et d'exercices d'études de cas à entreprendre avec des outils Big Data pertinents.

Public

Si vous essayez de comprendre les données auxquelles vous avez accès ou souhaitez analyser des données non structurées disponibles sur le réseau (comme Twitter, Linked in, etc.), ce cours est pour vous.

Il s’adresse principalement aux décideurs et aux personnes qui doivent choisir les données qui méritent d’être collectées et celles qui méritent d’être analysées.

Cela ne vise pas les personnes qui configurent la solution, ces personnes bénéficieront d'une vue d'ensemble.

Mode de livraison

Pendant le cours, des exemples concrets de technologies principalement open source seront présentés aux délégués.

De courtes conférences seront suivies de présentations et d'exercices simples des participants.

Contenu et logiciel utilisés

Tous les logiciels utilisés sont mis à jour à chaque exécution du cours, nous vérifions donc les dernières versions possibles.

Il couvre le processus d'obtention, de formatage, de traitement et d'analyse des données, afin d'expliquer comment automatiser le processus de prise de décision avec l'apprentissage automatique.

Les données volumineuses sont des ensembles de données si volumineux et complexes qu'un logiciel de traitement de données traditionnel ne permet pas de les traiter. Les défis du Big Data incluent la capture, le stockage, l'analyse, la recherche, le partage, le transfert, la visualisation, l'interrogation, la mise à jour et la confidentialité des informations.

Ce cours est destiné aux spécialistes IT à la recherche d'une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué

Objectif du cours:

Acquérir des connaissances concernant l'administration de Hadoop cluster

Apache Hadoop est le cadre le plus populaire pour le traitement Big Data sur des clusters de serveurs. Au cours de ce stage de trois jours (quatre jours optionnellement), les participants apprendront les avantages commerciaux et les cas d'utilisation pour Hadoop et son écosystème, comment planifier la mise en place et l'expansion du cluster, comment installer, entretenir, surveiller, résoudre les problèmes et optimiser Hadoop. Ils pratiqueront également le chargement de données massives sur le cluster, se familiariseront avec diverses distributions Hadoop, et exerceront l'installation et la gestion des outils de l'écosystème Hadoop. Le cours se terminera par une discussion sur la sécurisation du cluster avec Kerberos.

“…Les matériaux étaient très bien préparés et couverts en profondeur. La salle d'exercices était très utile et bien organisée”
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Audience

Administrateurs Hadoop

Format

Conférences et ateliers pratiques, répartition approximative 60% conférences, 40% ateliers.

Apache Hadoop est le framework le plus populaire pour le traitement Big Data sur des clusters de serveurs. Ce cours introduira au développeur divers composants (HDFS, MapReduce, Pig, Hive, et HBase) de l'écosystème Hadoop.

Apache Hadoop est l'un des cadres les plus populaires pour le traitement Big Data sur des clusters de serveurs. Ce cours aborde la gestion des données dans HDFS, Pig avancé, Hive, et HBase.  Ces techniques de programmation avancées seront bénéfiques aux développeurs expérimentés en Hadoop.

Public cible: développeurs

Durée : trois jours

Format : conférences (50%) et ateliers pratiques (50%).

Public cible :

Ce cours vise à démystifier la technologie Big Data/Hadoop et à montrer qu'elle n'est pas difficile à comprendre.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Ce cours présente HBase - un magasin No SQL au-dessus de Hadoop . Le cours est destiné aux développeurs qui utiliseront HBase pour développer des applications et aux administrateurs qui géreront les clusters HBase.

Nous guiderons un développeur à travers l'architecture HBase, la modélisation de données et le développement d'applications sur HBase. Il discutera également de l’utilisation de MapReduce avec HBase et de quelques sujets d’administration liés à l’optimisation des performances. Le cours est très pratique avec de nombreux exercices de laboratoire.

Durée : 3 jours

Audience : Développeurs et Administrateurs

In this instructor-led, live training in Louvain (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Cette formation en direct avec instructeur en <loc&gt ; (en ligne ou sur site) est destinée aux personnes techniques qui souhaitent apprendre à mettre en œuvre une stratégie d'apprentissage automatique tout en maximisant l'utilisation des données massives (big data).

A l'issue de cette formation, les participants pourront :

• Comprendre l'évolution et les tendances de l'apprentissage automatique.
• Savoir comment l'apprentissage automatique est utilisé dans différents secteurs d'activité.
• Se familiariser avec les outils, les compétences et les services disponibles pour mettre en œuvre l'apprentissage automatique au sein d'une organisation.
• Comprendre comment l'apprentissage automatique peut être utilisé pour améliorer l'exploration et l'analyse des données.
• Apprendre ce qu'est un backend de milieu de données et comment il est utilisé par les entreprises.
• Comprendre le rôle que jouent les big data et les applications intelligentes dans tous les secteurs d'activité.

Au cours de cette formation en direct, dirigée par un instructeur, à Louvain (sur place ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.

A la fin de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Rechercher, transformer et gérer des données à partir de sources de données disparates et distribuées, y compris les bases de données et les lacs de données.
• Automatiser les flux de données.
• Permettre l'analyse en continu.
• Appliquer différentes approches pour l'ingestion de données.
• Transformer les données Big Data en informations commerciales.

Au cours de cette formation en direct et dirigée par un instructeur dans Louvain, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A la fin de cette formation, les participants seront capables de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des APIs tierces.
• Développer leur propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place une architecture de pipeline de données pour le traitement des big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

La courbe d'apprentissage d' Apache Spark augmente lentement au début, il faut beaucoup d'efforts pour obtenir le premier retour. Ce cours vise à passer à travers la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d’ Apache Spark , ils différencieront clairement RDD de DataFrame, ils apprendront les API Python et Scala , ils comprendront les exécuteurs et les tâches, etc. En suivant également les meilleures pratiques, ce cours est fortement axé sur déploiement en nuage, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.

PUBLIC:

Ingénieur de données, DevOps , Data Scientist

OBJECTIF:

Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.

PUBLIC :

Développeurs / Analystes de données

Cette formation en Louvain (en ligne ou sur site) s'adresse aux data scientists et aux développeurs qui souhaitent utiliser Spark NLP, construit sur Apache Spark, pour développer, implémenter et mettre à l'échelle des modèles et des pipelines de traitement de texte en langage naturel.

A la fin de cette formation, les participants seront capables de :

• Mettre en place l'environnement de développement nécessaire pour commencer à construire des pipelines NLP avec Spark NLP.
• Comprendre les caractéristiques, l'architecture et les avantages de l'utilisation de Spark NLP.
• Utiliser les modèles pré-entraînés disponibles dans Spark NLP pour implémenter le traitement de texte.
• Apprendre à construire, entraîner et mettre à l'échelle les modèles Spark NLP pour des projets de production.
• Appliquer la classification, l'inférence et l'analyse des sentiments sur des cas d'utilisation réels (données cliniques, comportement des clients, etc.).

Spark SQL est le module Apache Spark permettant de travailler avec des données structurées et non structurées. Spark SQL fournit des informations sur la structure des données ainsi que sur les calculs en cours. Ces informations peuvent être utilisées pour effectuer des optimisations. Les deux utilisations courantes de Spark SQL sont SQL suivantes:
- pour exécuter SQL requêtes SQL .
- lire les données d'une installation Hive existante.

Lors de cette formation en direct animée par un instructeur (sur site ou à distance), les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL .

À la fin de cette formation, les participants seront en mesure de:

• Installez et configurez Spark SQL .
• Effectuer une analyse de données à l'aide de Spark SQL .
• Interrogez des ensembles de données dans différents formats.
• Visualisez les données et les résultats de la requête.

Format du cours

• Conférence interactive et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Cette formation en direct (en ligne ou sur site) est destinée aux personnes techniques qui souhaitent déployer Talend Open Studio for Big Data pour simplifier le processus de lecture et d'analyse des données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Talend Open Studio for Big Data.
• Connecter avec les systèmes Big Data tels que Cloudera, HortonWorks, MapR, Amazon EMR et Apache.
• Comprendre et configurer les composants et connecteurs Big Data d'Open Studio.
• Configurer les paramètres pour générer automatiquement du code MapReduce.
• Utiliser l'interface glisser-déposer d'Open Studio pour exécuter des tâches Hadoop.
• Prototypez des pipelines de big data.
• Automatiser les projets d'intégration de big data.