Samza for Stream Processing Training Cursus

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op data-ingenieurs, datawetenschappers en programmeurs die Spark Streaming functies willen gebruiken bij het verwerken en analyseren van realtime gegevens.

Aan het einde van deze training kunnen deelnemers Spark Streaming gebruiken om live datastromen te verwerken voor gebruik in databases, bestandssystemen en live dashboards.

Deze instructeur-geleide, live training in België (op locatie of op afstand) is gericht op ontwikkelaars die Apache Kafka streamverwerking willen implementeren zonder code te schrijven.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Confluent KSQL.
• Zet een streamverwerkingspijplijn op met alleen SQL-opdrachten (geen Java- of Python-codering).
• Voer datafiltering, transformaties, aggregaties, joins, windowing en sessionization volledig in SQL uit.
• Ontwerp en implementeer interactieve, continue queries voor het streamen van ETL en realtime analyses.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam is een open source, uniform programmeermodel voor het definiëren en uitvoeren van parallelle pijplijnen voor gegevensverwerking De kracht zit hem in de mogelijkheid om zowel batch- als streamingpijplijnen uit te voeren, waarbij de uitvoering wordt uitgevoerd door een van Beam's ondersteunde backends voor gedistribueerde verwerking: Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow Apache Beam is nuttig voor ETL-taken (Extract, Transform en Load), zoals het verplaatsen van gegevens tussen verschillende opslagmedia en gegevensbronnen, het transformeren van gegevens in een meer wenselijk formaat en het laden van gegevens op een nieuw systeem In deze live training met instructor (op locatie of op afstand) leren deelnemers hoe de Apache Beam SDK's in een Java- of Python-toepassing kunnen worden geïmplementeerd die een gegevensverwerkingspijplijn definieert voor het decomposeren van een grote dataset in kleinere chunks voor onafhankelijke, parallelle verwerking Aan het einde van deze training kunnen deelnemers: Installeer en configureer Apache Beam Gebruik een enkel programmeermodel om zowel batch- als streamverwerking uit te voeren met behulp van hun Java- of Python-toepassing Voer pijpleidingen uit in meerdere omgevingen Publiek ontwikkelaars Formaat van de cursus Gedeeltelijke lezing, deelbespreking, oefeningen en zware handsonoefeningen Notitie Deze cursus zal in de toekomst beschikbaar zijn voor Scala Neem contact met ons op om dit te regelen .

Apache Apex is een YARNnative-platform dat stream- en batchverwerking combineert Het verwerkt grote datainmotion op een manier die schaalbaar, performant, faulttolerant, stateful, veilig, gedistribueerd en eenvoudig te bedienen is Deze geinspireerde live training introduceert de uniforme stream-processingarchitectuur van Apache Apex en leidt deelnemers door de creatie van een gedistribueerde applicatie met Apex op Hadoop Aan het einde van deze training kunnen deelnemers: Begrijp gegevensverwerkingspijplijnconcepten zoals aansluitingen voor bronnen en putten, algemene gegevenstransformaties, enz Bouw, schaal en optimaliseer een Apex-applicatie Verwerk realtime datastreams betrouwbaar en met minimale latency Gebruik Apex Core en de Apex Malhar-bibliotheek om snelle applicatie-ontwikkeling mogelijk te maken Gebruik de Apex API om bestaande Java-code te schrijven en opnieuw te gebruiken Integreer Apex in andere applicaties als een verwerkingsengine Stem, test en schaal Apex-toepassingen Publiek ontwikkelaars Enterprise architecten Formaat van de cursus Gedeeltelijke lezing, deelbespreking, oefeningen en zware handsonoefeningen .

Apache Storm is een gedistribueerde, real-time computing engine gebruikt om real-time business intelligence te vergemakkelijken. Dit gebeurt door toepassingen in staat te stellen onbeperkte gegevensstromen betrouwbaar te verwerken (bv. de stroomverwerking).

"Storm is voor real-time verwerking wat Hadoop is voor batch verwerking!"

In deze instructeur geleide live training zullen de deelnemers leren hoe te installeren en configureren Apache Storm, vervolgens een Apache Storm applicatie ontwikkelen en implementeren voor het verwerken van grote gegevens in real-time.

Enkele van de onderwerpen die in deze training zijn opgenomen, zijn:

• Apache Storm in de context van Hadoop
• Werken met onbeperkte gegevens
• voortdurende berekening
• Realtime analyse
• Distribueerde RPC en ETL verwerking

Vraag deze cursus nu!

Het publiek

• Software en ETL ontwikkelaars
• Mainframe professionals
• Data wetenschappers
• Big data analisten
• [ 1 ] Professionals

Format van de cursus

• Deel lezing, deel discussie, oefeningen en zware praktijken

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze Apache NiFi kunnen implementeren en beheren in een live labomgeving.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apachi NiFi.
• Verzamel, transformeer en beheer gegevens uit ongelijksoortige, gedistribueerde gegevensbronnen, waaronder databases en big data-meren.
• Automatiseer gegevensstromen.
• Schakel streaminganalyse in.
• Pas verschillende benaderingen toe voor gegevensopname.
• Transformeer Big Data en naar zakelijke inzichten.

In deze door een instructeur geleide, live training leren deelnemers de basisprincipes van flow-gebaseerd programmeren terwijl ze een aantal demo-extensies, componenten en processors ontwikkelen met behulp van Apache NiFi.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de architectuur- en datastroomconcepten van NiFi.
• Ontwikkel extensies met behulp van NiFi en API's van derden.
• Op maat ontwikkelen van hun eigen Apache Nifi-processor.
• Neem realtime gegevens op uit ongelijksoortige en ongebruikelijke bestandsformaten en gegevensbronnen en verwerk deze.

Deze door een instructeur geleide, live training (op locatie) introduceert de principes en benaderingen achter gedistribueerde stream- en batchgegevensverwerking, en begeleidt deelnemers bij het creëren van een realtime datastreamingapplicatie in Apache Flink.

Aan het einde van deze training kunnen deelnemers:

Zet een omgeving op voor het ontwikkelen van data-analyseapplicaties. Begrijp hoe de grafiekverwerkingsbibliotheek van Apache Flink (Gelly) werkt. Pakket, voer uit en bewaak Flink-gebaseerde, fouttolerante datastreaming-applicaties. Beheer diverse werklasten. Voer geavanceerde analyses uit. Stel een Flink-cluster met meerdere knooppunten in. Meet en optimaliseer prestaties. Integreer Flink met verschillende Big Data systemen. Vergelijk de mogelijkheden van Flink met die van andere raamwerken voor big data-verwerking.

Deze door een instructeur geleide, live training in België (op locatie of op afstand) introduceert Hortonworks Data Platform (HDP) en leidt deelnemers door de implementatie van de Spark + Hadoop-oplossing.

Aan het einde van deze training kunnen deelnemers:

Gebruik Hortonworks om Hadoop betrouwbaar op grote schaal uit te voeren. Verenig de beveiligings-, governance- en operationele mogelijkheden van Hadoop met de flexibele analytische workflows van Spark. Gebruik Hortonworks om elk onderdeel van een Spark-project te onderzoeken, valideren, certificeren en ondersteunen. Verwerk verschillende soorten gegevens, waaronder gestructureerd, ongestructureerd, in beweging en in rust.

Apache Ambari is een open-source beheerplatform voor het Apache Ambari , beheren, bewaken en beveiligen van Apache Hadoop clusters.

In deze door een instructeur geleide live training leren deelnemers de managementtools en -praktijken die Ambari biedt om met succes Hadoop clusters te beheren.

Aan het einde van deze training kunnen deelnemers:

• Zet een live Big Data cluster op met Ambari
• Pas de geavanceerde functies en functionaliteiten van Ambari toe op verschillende gebruikssituaties
• Voeg indien nodig naadloos knooppunten toe en verwijder deze
• Verbeter de prestaties van een Hadoop cluster door afstemmen en tweaken

Publiek

• DevOps
• Systeembeheerders
• DBA
• Hadoop testprofessionals

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Deze cursus behandelt het gebruik van Hive SQL taal (AKA: Hive HQL, SQL on Hive , Hive QL) voor mensen die gegevens uit Hive

Kafka Streams is een client-side bibliotheek voor het bouwen van applicaties en microservices waarvan de gegevens worden doorgegeven aan en van een Kafka-berichtensysteem. Traditioneel vertrouwde Apache Kafka op Apache Spark of Apache Storm om gegevens tussen berichtproducenten en consumenten te verwerken. Door de Kafka Streams API vanuit een applicatie aan te roepen, kunnen gegevens direct in Kafka worden verwerkt, waardoor de noodzaak om de gegevens naar een afzonderlijk cluster te sturen voor verwerking wordt omzeild.

In deze live training onder leiding van een instructeur leren deelnemers hoe ze Kafka Streams kunnen integreren in een reeks voorbeeld Java applicaties die gegevens van en naar Apache Kafka doorgeven voor stroomverwerking.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de functies en voordelen van Kafka Streams ten opzichte van andere frameworks voor stroomverwerking
• Process stream gegevens rechtstreeks binnen een Kafka-cluster
• Schrijf een Java of Scala applicatie of microservice die kan worden geïntegreerd met Kafka en Kafka Streams
• Schrijf beknopte code die invoer Kafka-onderwerpen omzet in uitvoer Kafka-onderwerpen
• Bouw, verpak en implementeer de applicatie

Publiek

• ontwikkelaars

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Notes

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.