Apache Spark Streaming with Scala Training Cursus

In deze door een instructeur geleide, live training leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze aan praktische oefeningen werken.

Aan het einde van deze training kunnen deelnemers:

• Leer hoe u Spark met Python kunt gebruiken om Big Data te analyseren.
• Werk aan oefeningen die praktijkgevallen nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met PySpark.

In deze door een instructeur geleide, live training leren deelnemers over het technologieaanbod en de implementatiebenaderingen voor het verwerken van grafiekgegevens. Het doel is om objecten uit de echte wereld, hun kenmerken en relaties te identificeren, deze relaties vervolgens te modelleren en ze als gegevens te verwerken met behulp van een Graph Computing (ook bekend als Graph Analytics) aanpak. We beginnen met een breed overzicht en beperken ons tot specifieke tools terwijl we een reeks casestudies, praktische oefeningen en live implementaties doorlopen.

Aan het einde van deze training kunnen deelnemers:

• Begrijp hoe grafiekgegevens worden bewaard en doorlopen.
• Selecteer het beste raamwerk voor een bepaalde taak (van grafische databases tot raamwerken voor batchverwerking).
• Implementeer Hadoop, Spark, GraphX en Pregel om graph computing parallel uit te voeren op veel machines.
• Bekijk big data-problemen uit de echte wereld in termen van grafieken, processen en traversals.

Formaat van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefeningen.
• Praktische implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Als u een training op maat voor deze cursus wilt aanvragen, kunt u contact met ons opnemen om een afspraak te maken.

MLlib is Spark's machine learning (ML) bibliotheek. Het doel is om praktische machine learning schaalbaar en eenvoudig te maken. Het bestaat uit algemene leeralgoritmen en hulpprogramma's, waaronder classificatie, regressie, clustering, collaboratieve filtering, vermindering van de dimensionaliteit, evenals optimalisatieprimitieven op een lager niveau en pijplijn-API's op een hoger niveau.

Het is verdeeld in twee pakketten:

• spark.mllib bevat de originele API gebouwd bovenop RDD's.

• spark.ml biedt een API op een hoger niveau gebouwd bovenop DataFrames voor het construeren van ML-pijpleidingen.

Publiek

Deze cursus is bedoeld voor ingenieurs en ontwikkelaars die een ingebouwde machinebibliotheek voor Apache Spark

Deze opleiding is bedoeld om deelnemers van een beginner naar een tussenliggende / geavanceerde niveau te brengen in de begrip en kennis van het Akka kader.

De hele cursus is hand in hand, voornamelijk gedreven door de trainer in het begin en geleidelijk naar de deelnemers die zelf code produceren (en downloaden implementaties/oplossingen geschreven door de trainer).

De deelnemers worden niet verwacht vooraf kennis te hebben van Scala, de trainer zal de nodige tijd nemen om alle intricaten die verband houden met de gebruikte Scala code uit te leggen en te verduidelijken.

Het doel van deze cursus is om een basisvaardigheid te bieden bij het toepassen van Machine Learning methoden in de praktijk. Door het gebruik van de Scala programmeertaal en de verschillende bibliotheken en op basis van een groot aantal praktische voorbeelden leert deze cursus hoe de belangrijkste bouwstenen van Machine Learning , hoe beslissingen te nemen over het modelleren van gegevens, de output van de algoritmen te interpreteren en valideer de resultaten.

Ons doel is om u de vaardigheden om te begrijpen en gebruik maken van de meest fundamentele gereedschappen uit het geven Machine Learning toolbox vertrouwen en te voorkomen dat de gemeenschappelijke valkuilen van Data Science s toepassingen.

Scala is een beknopte, objectgeoriënteerde taal met functionele programmeerfuncties, waaronder curry, type inferentie, onveranderlijkheid, luie evaluatie en patroonmatching. Scala code werkt op een JVM en is ontworpen om enkele tekortkomingen van Java aan te pakken.

In dit door een instructeur geleide, leren deelnemers live training hoe ze de geavanceerde functies van Scala , inclusief het type systeem, kunnen gebruiken om betere code te schrijven met behulp van een object-functionele benadering.

Aan het einde van deze training kunnen deelnemers:

• Maak optimaal gebruik van het Scala type systeem
• Behandel uitzonderingen functioneel
• Maak bibliotheken en DSL's met Scala
• Gebruik de geavanceerde functies van Scala voor het matchen van patronen

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Scala is een beknopte, objectgeoriënteerde taal met functionele programmeerfuncties, waaronder curry, type inferentie, onveranderlijkheid, luie evaluatie en patroonmatching.

In deze door een instructeur geleide, leren live trainingdeelnemers hoe ze de geavanceerde functies van Scala kunnen gebruiken om goed geconstrueerde software te ontwikkelen die gemakkelijk te schrijven, lezen, testen en veranderen is. De focus van deze training ligt op functioneel programmeren, met praktijkstudies en discussie als referentie voor laboratoriumoefeningen en activiteiten.

Aan het einde van deze training kunnen deelnemers:

• Implementeer geavanceerde functionele programmeertechnieken
• Zin hebben voor complexe typeaanduidingen
• Begrijp code via typen en vervanging
• Behandel uitzonderingen functioneel
• Maak bibliotheken en DSL's met Scala
• Gebruik de geavanceerde functies van Scala voor het matchen van patronen

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

De training is bedoeld om Scala taalkansen te bieden, de syntaxis van programmeerparadigma's en ruimtetoepassingen te leren.

Big data-analyse omvat het proces van het onderzoeken van grote hoeveelheden gevarieerde gegevenssets om correlaties, verborgen patronen en andere nuttige inzichten te ontdekken.

De gezondheidsindustrie heeft enorme hoeveelheden complexe heterogene medische en klinische gegevens. Het toepassen van big data-analyses op gezondheidsgegevens biedt een enorm potentieel voor het verkrijgen van inzichten voor het verbeteren van de gezondheidszorg. De enorme omvang van deze datasets vormt echter grote uitdagingen bij analyses en praktische toepassingen in een klinische omgeving.

In deze door een instructeur geleide, live training (op afstand), leren deelnemers hoe ze big data-analyses in gezondheid kunnen uitvoeren terwijl ze een reeks praktische live-laboefeningen doorlopen.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer big data-analysehulpmiddelen zoals Hadoop MapReduce en Spark
• Begrijp de kenmerken van medische gegevens
• Pas big data-technieken toe om met medische gegevens om te gaan
• Bestudeer big data-systemen en algoritmen in het kader van gezondheidstoepassingen

Publiek

• ontwikkelaars
• Data Scientists

Indeling van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen.

Notitie

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Deze instructeur-geleide, live training in België (op locatie of op afstand) is gericht op systeembeheerders die willen leren hoe ze clusters binnen hun organisatie kunnen opzetten, implementeren en beheren.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apache Hadoop.
• Begrijp de vier belangrijkste componenten in het Hadoop-ecosysteem: HDFS, MapReduce, YARN en Hadoop Common.
• Gebruik Hadoop Distributed File System (HDFS) om een cluster te schalen naar honderden of duizenden knooppunten.
• Stel HDFS in om te functioneren als opslagengine voor on-premise Spark-implementaties.
• Stel Spark in voor toegang tot alternatieve opslagoplossingen zoals Amazon S3 en NoSQL databasesystemen zoals Redis, Elasticsearch, Couchbase, Aerospike, enz.
• Voer administratieve taken uit zoals het inrichten, beheren, monitoren en beveiligen van een Apache Hadoop-cluster.

Deze door een instructeur geleide, live training in België (op locatie of op afstand) introduceert Hortonworks Data Platform (HDP) en leidt deelnemers door de implementatie van de Spark + Hadoop-oplossing.

Aan het einde van deze training kunnen deelnemers:

Gebruik Hortonworks om Hadoop betrouwbaar op grote schaal uit te voeren. Verenig de beveiligings-, governance- en operationele mogelijkheden van Hadoop met de flexibele analytische workflows van Spark. Gebruik Hortonworks om elk onderdeel van een Spark-project te onderzoeken, valideren, certificeren en ondersteunen. Verwerk verschillende soorten gegevens, waaronder gestructureerd, ongestructureerd, in beweging en in rust.

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.

Magellan is een open-source gedistribueerde uitvoeringssysteem voor geospatiale analyse van big data. Geïmplementeerd boven Apache Spark, breidt het Spark SQL uit en biedt een relatieve abstractie voor geospatiale analyses.

Deze instructeur geleide, live training introduceert de concepten en benaderingen voor de implementatie van geospatiale analyses en wandelt deelnemers door middel van de creatie van een predictieve analyse toepassing met behulp van Magellan op Spark.

Aan het einde van deze training zullen de deelnemers in staat zijn:

• Efficiënt zoeken, parsen en deelgenomen geospatiale dataset op schaal
• Implementatie van geospatiale gegevens in business intelligence en predictive analytics toepassingen
• Gebruik ruimtecontext om de capaciteiten van mobiele apparaten, sensoren, logs en draagbare apparaten uit te breiden

Format van de cursus

• Interactieve lezingen en discussie.
• Veel oefeningen en oefeningen.
• Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

• Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op ontwikkelaars die big data-analyse willen uitvoeren met behulp van Apache Spark in hun .NET-applicaties.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apache Spark.
• Begrijp hoe .NET Spark API's implementeert, zodat ze toegankelijk zijn vanuit een .NET-applicatie.
• Ontwikkel applicaties voor gegevensverwerking met behulp van C# of F#, die datasets kunnen verwerken waarvan de grootte wordt gemeten in terabytes en pedabytes.
• Ontwikkel machine learning-functies voor een .NET-toepassing met behulp van Apache Spark-mogelijkheden.
• Voer verkennende analyses uit met behulp van SQL queries op big datasets.