Formation Stream processing en Belgique

Cette formation en direct, animée par un instructeur (sur site ou à distance), est destinée aux ingénieurs souhaitant utiliser Confluent (une distribution de Kafka) pour créer et gérer une plate-forme de traitement de données en temps réel pour leurs applications. À la fin de cette formation, les participants seront en mesure de:

• Installez et configurez Confluent Platform.
• Utilisez les outils et les services de gestion de Confluent pour exécuter Kafka plus facilement.
• Stocker et traiter les données de flux entrants.
• Optimiser et gérer les clusters Kafka.
• Flux de données sécurisés.

Format du cours

• Conférence interactive et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation du cours

• Ce cours est basé sur la version open source de Confluent: Confluent Open Source.
• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Dans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes. A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

Cette formation en direct avec instructeur dans Belgique (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités Apache Kafka dans les flux de données avec Python.À la fin de cette formation, les participants seront en mesure d'utiliser Apache Kafka pour surveiller et gérer les conditions dans les flux de données continus en utilisant la programmation Python.

Kafka Streams est une bibliothèque côté client permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka. Apache Kafka s’appuyait traditionnellement sur Apache Spark ou Apache Storm pour traiter les données entre les producteurs de messages et les consommateurs. En appelant l'API Kafka Streams depuis une application, les données peuvent être traitées directement dans Kafka, ce qui évite d'avoir à les envoyer à un cluster distinct. Au cours de cette formation en direct animée par un instructeur, les participants apprendront comment intégrer Kafka Streams à un ensemble d’exemples d’applications Java qui transmettent des données depuis et vers Apache Kafka pour le traitement de flux. À la fin de cette formation, les participants seront en mesure de:

• Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
• Traiter les données de flux directement dans un cluster Kafka
• Écrire une application ou un microservice Java ou Scala intégrant Kafka et Kafka Streams
• Écrivez un code concis qui transforme les sujets d’entrée de Kafka en sujets de sortie de Kafka
• Construire, empaqueter et déployer l'application

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Remarques

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser

Apache Samza est un framework de calcul asynchrone open source quasi-temps réel pour le traitement de flux. Il utilise Apache Kafka pour la messagerie et Apache Hadoop YARN pour la tolérance aux pannes, l'isolation du processeur, la sécurité et la gestion des ressources. Cette formation en direct, animée par un instructeur, présente les principes sous-jacents aux systèmes de messagerie et au traitement de flux distribué, tout en guidant les participants dans la création d'un exemple de projet et d'exécution de travaux basé sur Samza. À la fin de cette formation, les participants seront en mesure de:

• Utilisez Samza pour simplifier le code nécessaire à la production et à la consommation de messages.
• Découpler le traitement des messages d'une application.
• Utilisez Samza pour implémenter un calcul asynchrone en temps quasi réel.
• Utilisez le traitement de flux pour fournir un niveau d'abstraction plus élevé sur les systèmes de messagerie.

Public

• Développeurs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Cette formation en direct avec instructeur dans Belgique (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités de Spark Streaming dans le traitement et l'analyse de données en temps réel.À la fin de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en temps réel et les utiliser dans des bases de données, des systèmes de fichiers et des tableaux de bord en temps réel.

Cette formation en direct dans Belgique (en ligne ou sur site) est destinée aux développeurs qui souhaitent mettre en œuvre le traitement de flux Apache Kafka sans écrire de code.A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Confluent KSQL.
• Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
• Effectuer le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.
• Concevoir et déployer des requêtes interactives et continues pour l'ETL en continu et l'analyse en temps réel.

Cette formation en direct dans Belgique (en ligne ou sur site) est destinée aux développeurs qui souhaitent apprendre les principes du stockage persistant et purement en mémoire, tout en créant un exemple de projet d'informatique en mémoire.A la fin de cette formation, les participants seront capables de :

• Utiliser Ignite pour la persistance en mémoire, sur disque ainsi que pour une base de données en mémoire purement distribuée.
• Réaliser la persistance sans synchroniser les données avec une base de données relationnelle.
• Utiliser Ignite pour effectuer des jointures SQL et distribuées.
• Améliorer les performances en rapprochant les données de l'unité centrale, en utilisant la mémoire vive comme stockage.
• Répartir les ensembles de données sur un cluster pour obtenir une évolutivité horizontale.
• Intégrer Ignite aux SGBDR, NoSQL, Hadoop et aux processeurs d'apprentissage automatique.

Apache Beam est un modèle de programmation unifié et open source permettant de définir et d'exécuter des pipelines de traitement de données parallèles. Sa puissance réside dans sa capacité à exécuter des pipelines en batch et en streaming, l'exécution étant réalisée par l'un des back-ends de traitement distribué pris en charge par Beam : Apache Apex, Apache Flink, Apache Spark et Go ogle Cloud Dataflow. Beam Apache Beam est utile pour les tâches ETL (Extract, Transform, and Load) telles que le déplacement de données entre différents supports de stockage et sources de données, la transformation de données dans un format plus souhaitable, et le chargement de données sur un nouveau système.Au cours de cette formation en direct (sur site ou à distance), les participants apprendront à mettre en œuvre les SDK Apache Beam dans une application Java ou Python qui définit un pipeline de traitement des données permettant de décomposer un ensemble de données volumineuses en morceaux plus petits pour un traitement indépendant et parallèle.À la fin de cette formation, les participants seront capables de :

• Installer et configurer Apache Beam.
• Utiliser un modèle de programmation unique pour effectuer des traitements par lots et par flux à partir de leur application Java ou Python.
• Exécuter des pipelines dans plusieurs environnements.

Format du cours

• En partie cours magistral, en partie discussion, exercices et pratique intensive.

Remarque

• Ce cours sera disponible Scala dans le futur. Veuillez nous contacter pour convenir d'un rendez-vous.

Apache Apex est une plateforme native YARN qui unifie le traitement des flux et des lots. Elle traite les données volumineuses en mouvement de manière évolutive, performante, tolérante aux pannes, avec état, sécurisée, distribuée et facilement exploitable.Cette formation en direct avec instructeur présente l'architecture unifiée de traitement des flux de Apache Apex et accompagne les participants dans la création d'une application distribuée à l'aide d'Apex sur Hadoop.À l'issue de cette formation, les participants seront en mesure de :

• Comprendre les concepts de pipeline de traitement de données tels que les connecteurs pour les sources et les puits, les transformations de données courantes, etc.
• Construire, mettre à l'échelle et optimiser une application Apex
• Traiter des flux de données en temps réel de manière fiable et avec une latence minimale
• Utiliser Apex Core et la bibliothèque Apex Malhar pour permettre un développement rapide des applications
• Utiliser l'API Apex pour écrire et réutiliser le code Java existant
• Intégrer Apex dans d'autres applications en tant que moteur de traitement
• Optimiser, tester et mettre à l'échelle les applications Apex.

Format du cours

• Exposé et discussion interactifs.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement live-lab.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

Apache Storm est un moteur de calcul distribué et en temps réel utilisé pour permettre une intelligence économique en temps réel. Pour ce faire, il permet aux applications de traiter de manière fiable des flux de données illimités (traitement en flux)."Storm est pour le traitement en temps réel ce que Hadoop est pour le traitement par lots !Dans cette formation, les participants apprendront à installer et à configurer Apache Storm, puis à développer et à déployer une application Apache Storm pour traiter des données volumineuses en temps réel.Parmi les sujets abordés dans cette formation, citons :

• Apache Storm dans le contexte de Hadoop
• Travailler avec des données illimitées
• Calcul continu
• Analyse en temps réel
• RPC distribué et traitement ETL

Demandez ce cours maintenant !Audience

• Développeurs de logiciels et d'ETL
• Professionnels de l'ordinateur central
• Scientifiques des données
• Analystes Big Data
• Professionnels du Hadoop.

Format du cours

• En partie conférence, en partie discussion, exercices et pratique intensive.

Au cours de cette formation en direct, dirigée par un instructeur, à Belgique (sur place ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.A la fin de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Rechercher, transformer et gérer des données à partir de sources de données disparates et distribuées, y compris les bases de données et les lacs de données.
• Automatiser les flux de données.
• Permettre l'analyse en continu.
• Appliquer différentes approches pour l'ingestion de données.
• Transformer les données Big Data en informations commerciales.

Au cours de cette formation en direct et dirigée par un instructeur dans Belgique, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.A la fin de cette formation, les participants seront capables de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des APIs tierces.
• Développer leur propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.

Cette formation en direct à Belgique (en ligne ou sur site) présente les principes et les approches du traitement distribué des données en flux et par lots, et accompagne les participants dans la création d'une application de flux de données en temps réel dans Apache Flink.A la fin de cette formation, les participants seront capables de :

• Mettre en place un environnement pour développer des applications d'analyse de données.
• Comprendre le fonctionnement de la bibliothèque de traitement de graphes de Apache Flink (Gelly).
• Mettre en place, exécuter et surveiller des applications de streaming de données basées sur Flink et tolérantes aux pannes.
• Gérer diverses charges de travail.
• Effectuer des analyses avancées.
• Mettre en place un cluster Flink à plusieurs nœuds.
• Mesurer et optimiser les performances.
• Intégrer Flink à différents systèmes Big Data.
• Comparer les capacités de Flink avec celles d'autres frameworks de traitement des big data.