Formation Apache Spark Streaming with Scala

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses en travaillant sur des exercices pratiques.

A l'issue de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser les Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des Big Data en utilisant PySpark.

Dans cette formation en direct, dirigée par un instructeur, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commencerons par une vue d'ensemble et nous nous concentrerons sur des outils spécifiques au fil d'une série d'études de cas, d'exercices pratiques et de déploiements en direct.

A l'issue de cette formation, les participants seront capables de :

• Comprendre comment les données des graphes sont persistées et parcourues.
• Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots.)
• Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
• Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.

MLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.

Il se divise en deux paquets:

• spark.mllib contient l'API d'origine construite sur les RDD.

• spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.

Public

Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark

Format du cours

• Les cours magistraux et les discussions sont interactifs.
• De nombreux exercices et de la pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation des cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

La formation vise à fournir des opportunités en langage Scala , en apprenant la syntaxe des paradigmes de programmation et des applications spatiales.

Le but de ce cours est de fournir une maîtrise de base de l’application pratique des méthodes d’ Machine Learning . À l'aide du langage de programmation Scala et de ses différentes bibliothèques, et basé sur une multitude d'exemples pratiques, ce cours explique comment utiliser les éléments de base les plus importants de Machine Learning , comment prendre des décisions en matière de modélisation des données, interpréter les résultats des algorithmes et valider les résultats.

Notre objectif est de vous donner les compétences nécessaires pour comprendre et utiliser en toute confiance les outils les plus fondamentaux de la boîte Machine Learning outils Machine Learning et éviter les pièges courants des applications Data Science .

Scala est un langage concis, orienté objet, doté de fonctionnalités de programmation fonctionnelles, telles que currying, inférence de type, immuabilité, évaluation paresseuse et filtrage par motif. Scala code Scala fonctionne sur une machine virtuelle Java et a été conçu pour remédier à certaines des faiblesses de Java .

Dans cette formation en direct animée par un instructeur, les participants apprendront à utiliser les fonctionnalités avancées de Scala , y compris son système de typographie, pour écrire un meilleur code en utilisant une approche objet-fonctionnelle.

À la fin de cette formation, les participants seront en mesure de:

• Exploitez au maximum le système de types de Scala
• Traiter les exceptions de manière fonctionnelle
• Créer des bibliothèques et des DSL avec Scala
• Utilisez les fonctionnalités avancées de Scala pour la correspondance de motifs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Scala est un langage concis, orienté objet, doté de fonctionnalités de programmation fonctionnelles, telles que currying, inférence de type, immuabilité, évaluation paresseuse et filtrage par motif.

Dans cette formation en direct dirigée par un instructeur, les participants apprendront à utiliser les fonctionnalités avancées de Scala pour développer un logiciel bien construit, facile à écrire, à lire, à tester et à modifier. Cette formation est axée sur la programmation fonctionnelle, utilisant des études de cas et des discussions du monde réel comme référence pour les exercices et activités de laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Implémenter des techniques avancées de programmation fonctionnelle
• Donner un sens aux signatures de type complexe
• Comprendre le code à travers les types et la substitution
• Traiter les exceptions de manière fonctionnelle
• Créer des bibliothèques et des DSL avec Scala
• Utilisez les fonctionnalités avancées de Scala pour la correspondance de motifs

Format du cours

• Partie de conférence, partie de discussion, exercices et exercices intensifs

Cette formation est conçue pour apporter les participants d'un débutant à un niveau intermédiaire / avancé dans la compréhension et la connaissance du Akka cadre.

L'ensemble du cours est à la main, principalement dirigé par l'entraîneur au début et se déplacent progressivement vers les participants qui produisent le code eux-mêmes (et téléchargent les implementations / solutions écrites par l'entraîneur).

Les participants ne sont pas attendus d'avoir des connaissances préalables de Scala, l'entraîneur prendra le temps nécessaire pour expliquer et clarifier toutes les intrications liées au code Scala utilisé.

OBJECTIF:

Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.

PUBLIC :

Développeurs / Analystes de données

Cette formation en direct avec instructeur (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

Utilisez Hortonworks pour exécuter Hadoop de manière fiable à grande échelle. Unifiez les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark. Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark. Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Magellan est un moteur d'exécution distribué à source ouverte pour l'analyse géospatiale sur les grandes données. Imployé au-dessus de Apache Spark, il étend Spark SQL et fournit une abstraction relative pour l'analyse géospatiale.

Cette formation guidée par l'instructeur, en direct introduit les concepts et les approches pour la mise en œuvre d'analyse géospatiale et marche les participants à travers la création d'une application d'analyse prédictive en utilisant Magellan sur Spark.

À la fin de cette formation, les participants seront en mesure de :

• Demandez efficacement, parse et rejoignez des données géospatiales à l'échelle
• Implémentation des données géospatiales dans les applications d'intelligence d'affaires et d'analyse prédictive
• Utilisez un contexte spatial pour étendre les capacités des appareils mobiles, des capteurs, des logs et des portables

Le format du cours

• Lecture et discussion interactives.
• Beaucoup d’exercices et de pratiques.
• La mise en œuvre dans un environnement de laboratoire en direct.

Options de personnalisation de cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Spark SQL est le module Apache Spark permettant de travailler avec des données structurées et non structurées. Spark SQL fournit des informations sur la structure des données ainsi que sur les calculs en cours. Ces informations peuvent être utilisées pour effectuer des optimisations. Les deux utilisations courantes de Spark SQL sont SQL suivantes:
- pour exécuter SQL requêtes SQL .
- lire les données d'une installation Hive existante.

Lors de cette formation en direct animée par un instructeur (sur site ou à distance), les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL .

À la fin de cette formation, les participants seront en mesure de:

• Installez et configurez Spark SQL .
• Effectuer une analyse de données à l'aide de Spark SQL .
• Interrogez des ensembles de données dans différents formats.
• Visualisez les données et les résultats de la requête.

Format du cours

• Conférence interactive et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Dans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.