Een Praktische Inleiding tot Stream Processing Training Cursus
Stream Processing verwijst naar de real-time verwerking van "data in beweging", dat wil zeggen, het uitvoeren van berekeningen op gegevens zodra ze ontvangen worden. Dergelijke gegevens worden gelezen als continue stroom uit gegevensbronnen zoals sensorgebeurtenissen, websitegebruikersactiviteit, financiële transacties, creditcardbetalingen, klikstrooms, enzovoort. Stream Processing frameworks kunnen grote hoeveelheden inkomende gegevens lezen en bijna onmiddellijk waardevolle inzichten bieden.
In deze door een instructeur geleide live training (ter plaatse of op afstand) leren deelnemers hoe ze verschillende Stream Processing frameworks kunnen installeren en integreren met bestaande big data opslagssystemen en gerelateerde softwaretoepassingen en microservices.
Na afloop van deze training zullen de deelnemers in staat zijn om:
- Verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming, te installeren en te configureren.
- De meest geschikte framework voor de taak te begrijpen en te selecteren.
- Gegevens continu, gelijktijdig en op record-niveau te verwerken.
- Stream Processing oplossingen te integreren met bestaande databases, datawarehouses, datalakes, enzovoort.
- De meest geschikte stream processing bibliotheek te integreren met bedrijfsapplicaties en microservices.
Publiek
- Ontwikkelaars
- Softwarearchitecten
Formaat van de cursus
- Deel colleges, deel discussies, oefeningen en veel handson praktijk
Opmerkingen
- Om een aangepaste training voor deze cursus aan te vragen, neem dan contact met ons op om dit te regelen.
Cursusaanbod
Introductie
- Streamverwerking versus batchverwerking
- Streamverwerking gericht op analyse
Overzicht van Frameworks en Programmeertalen
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Vergelijking van kenmerken en sterktes van elk framework
Overzicht van Data Bronnen
- Live data als een reeks gebeurtenissen in de tijd
- Historische data bronnen
Implementatie Opties
- In de cloud (AWS, enzovoort)
- Op locatie (privé cloud, enzovoort)
Aan de slag
- De ontwikkelomgeving instellen
- Installeren en configureren
- Beoordelen van uw data-analysebehoeften
Een Streaming Framework Beheren
- De streaming framework integreren met big data tools
- Event Stream Processing (ESP) versus Complex Event Processing (CEP)
- De invoerdata transformeren
- De uitvoerdata inspecteren
- De streamverwerkings framework integreren met bestaande toepassingen en microservices
Probleemoplossing
Samenvatting en Conclusie
Vereisten
- Ervaring in programmeren in welke taal dan ook
- Een begrip van Big Data-concepten (Hadoop, etc.)
Voor open trainingen is een minimum aantal van 5 deelnemers vereist
Een Praktische Inleiding tot Stream Processing Training Cursus - Boeking
Een Praktische Inleiding tot Stream Processing Training Cursus - Navraag
Een Praktische Inleiding tot Stream Processing - Consultancyaanvraag
Consultancyaanvraag
Getuigenissen (1)
Voldoende hands-on ervaring, trainer is deskundig
Chris Tan
Cursus - A Practical Introduction to Stream Processing
Automatisch vertaald
Voorlopige Aankomende Cursussen
Gerelateerde cursussen
Apache Kafka Connect
7 UrenDit cursus wordt gegeven door een instructeur en vindt plaats in België (online of ter plaatse). De training is gericht op ontwikkelaars die willen leren hoe ze Apache Kafka kunnen integreren met bestaande databases en applicaties voor verwerking, analyse, etc.
Aan het einde van deze training zullen de deelnemers in staat zijn om:
- Kafka Connect te gebruiken om grote hoeveelheden data uit een database naar Kafka-topics over te brengen.
- Logdata die door toepassingservers wordt gegenereerd, in Kafka-topics op te nemen.
- Alle verzamelde gegevens beschikbaar te maken voor streamverwerking.
- Data uit Kafka-topics naar secundaire systemen te exporteren voor opslag en analyse.
Building Kafka Solutions with Confluent
14 UrenDeze instructeurgeleide live-training (online of on locatie) is gericht op ingenieurs die Confluent (een distributie van Kafka) willen gebruiken om een real-time data processing platform te bouwen en beheren voor hun toepassingen.
Tegen het einde van deze training zullen de deelnemers in staat zijn:
- Confluent Platform te installeren en configureren.
- De managementtools en -diensten van Confluent te gebruiken om Kafka gemakkelijker te beheren.
- Inkomende stream data op te slaan en te verwerken.
- Kafka-clusters te optimaliseren en beheren.
- Data streams te beveiligen.
Opzet van de cursus
- Interactieve les en discussie.
- Veel oefeningen en praktijk.
- Praktische implementatie in een live-lab omgeving.
Cursusaanpassingsmogelijkheden
- Deze cursus is gebaseerd op de open source versie van Confluent: Confluent Open Source.
- Om een aangepaste training voor deze cursus aan te vragen, neemt u contact met ons op om dit in te richten.
Data Pipelines bouwen met Apache Kafka
7 UrenApache Kafka is een gedistribueerd streamingplatform. Het is de facto een standaard voor het bouwen van data pipelines en lost veel verschillende use-cases rondom data verwerking op: het kan worden gebruikt als berichtqueue, gedistribueerde log, stream processor, etc.
We beginnen met wat theorie achter data pipelines in het algemeen, waarna we doorgaan met de fundamentele concepten van Kafka. We zullen ook belangrijke componenten zoals Kafka Streams en Kafka Connect ontdekken.
Distributed Messaging with Apache Kafka
14 UrenDit cursus is bedoeld voor enterprise-architecten, ontwikkelaars, systeembeheerders en iedereen die wil begrijpen en gebruiken hoe een hoog-opbrengst gedistribueerd berichtensysteem werkt. Als u specifieke eisen heeft (bijvoorbeeld alleen de systeembewerkingskant), kan dit cursus aangepast worden om beter aan uw behoeften te voldoen.
Kafka voor Administrators
21 UrenDit door instructeur geleide live-training in België (online of ter plekke) is gericht op sysadmins die een bedrijfsklaar Kafka-cluster willen instellen, implementeren, beheren en optimaliseren.
Na afloop van deze training zullen de deelnemers in staat zijn:
- Een Kafka-cluster instellen en beheren.
- De voordelen en nadelen van het implementeren van Kafka on-premises versus in de cloud evalueren.
- Kafka implementeren en bewaken met behulp van verschillende on-premise en cloudomgevingshulpmiddelen.
Apache Kafka voor Ontwikkelaars
21 UrenDeze door een instructeur geleide, live training (online of ter plaatse) is gericht op ontwikkelaars op intermediair niveau die grote data-applicaties willen ontwikkelen met Apache Kafka.
Na deze training kunnen de deelnemers:
- Kafka-producers en -consumers ontwikkelen om gegevens naar en uit Kafka te verzenden en te lezen.
- Kafka integreren met externe systemen met behulp van Kafka Connect.
- Streaming-applicaties schrijven met Kafka Streams & ksqlDB.
- Een Kafka-clientapplicatie integreren met Confluent Cloud voor Kafka-implementaties op basis van de cloud.
- Pratisch ervaring opdoen door middel van handson-oefeningen en real-world-toepassingen.
Apache Kafka voor Python-Programmeurs
7 UrenDeze live training onder leiding van een instructeur in België (online of ter plaatse) is bedoeld voor data-engineers, datawetenschappers en programmeurs die Apache Kafka functies willen gebruiken in datastreaming met Python.
Aan het einde van deze training kunnen deelnemers Apache Kafka gebruiken om de omstandigheden in continue gegevensstromen te bewaken en te beheren met behulp van Python programmering.
Security voor Apache Kafka
7 UrenDit door de instructeur geleide, live-training in België (online of ter plaatse) is gericht op softwaretesters die netwerkbeveiligingsmaatregelen willen implementeren in een Apache Kafka-toepassing.
Aan het einde van deze training zullen de deelnemers in staat zijn:
- Apache Kafka te implementeren op een cloudgebaseerde server.
- SSL-versleuteling te implementeren om aanvallen te voorkomen.
- ACL-verificatie toe te voegen om gebruikersaccess te volgen en beheersen.
- Betrouwbare klanten toegang te geven tot Kafka-clusters met SSL- en SASL-verificatie.
Apache Kafka en Spring Boot
7 UrenDit door instructeur geleide, live-training in België (online of op locatie) is gericht op ontwikkelaars met een tussenliggend niveau die de basisprincipes van Kafka willen leren en deze willen integreren met Spring Boot.
Na afloop van deze training zullen de deelnemers in staat zijn:
- Kafka en zijn architectuur begrijpen.
- Leren hoe je een basiskwaliteit Kafka-omgeving kunt installeren, configureren en opzetten.
- Kafka integreren met Spring Boot.
Stream Processing met Kafka Streams
7 UrenKafka Streams is een clientbibliotheek voor het bouwen van toepassingen en microservices waarvan de gegevens worden verstuurd naar en van een Kafka berichtensysteem. Traditioneel heeft Apache Kafka zich gesteund op Apache Spark of Apache Storm om gegevens te verwerken tussen berichtproducers en -consumers. Door de Kafka Streams API binnen een toepassing aan te roepen, kunnen gegevens direct binnen Kafka worden verwerkt, zonder dat deze naar een apart cluster hoeven te worden gestuurd voor verwerking.
In deze door een instructeur geleide live training leren de deelnemers hoe ze Kafka Streams kunnen integreren in een set voorbeeld Java-toepassingen die gegevens naar en van Apache Kafka versturen voor stream processing.
Bij het einde van deze training zullen de deelnemers in staat zijn:
- De voordelen van Kafka Streams ten opzichte van andere stream processing frameworks te begrijpen
- Streamgegevens direct binnen een Kafka-cluster te verwerken
- Een Java- of Scala-toepassing of -microservice te schrijven die wordt geïntegreerd met Kafka en Kafka Streams
- Korte code te schrijven die invoer-Kafka-topics omzet in uitvoer-Kafka-topics
- De toepassing te bouwen, te pakken en te implementeren
Publiek
- Ontwikkelaars
Vorm van de cursus
- Theorie, discussie, oefeningen en veel praktijkwerk
Aantekeningen
- Om een aangepaste training voor deze cursus aan te vragen, neem contact met ons op om dit in te richten
Administration of Kafka Topic
14 UrenDeze door een instructeur geleide, live training in België (online of op locatie) is bedoeld voor systeembeheerders van beginners tot gemiddeld niveau die willen leren hoe ze Kafka-onderwerpen effectief kunnen beheren voor efficiënte gegevensstreaming en -verwerking.
Aan het einde van deze training zijn de deelnemers in staat om:
- Begrijp de basisprincipes en architectuur van Kafka-onderwerpen.
- Maak, configureer en beheer Kafka-onderwerpen.
- Bewaak Kafka-onderwerpen op gezondheid, prestaties en beschikbaarheid.
- Implementeer beveiligingsmaatregelen voor Kafka-onderwerpen.
SMACK Stack voor Data Science
14 UrenDeze instructeur-geleide, live training in België (online of op locatie) is gericht op data scientists die de SMACK stack willen gebruiken om data processing platforms voor big data-oplossingen te bouwen.
Aan het einde van deze training zullen de deelnemers in staat zijn:
- Een data pipeline architectuur voor big data implementeren.
- Een cluster-infrastructuur met Apache Mesos en Docker ontwikkelen.
- Data analyseren met Spark en Scala.
- Ongestructureerde data beheren met Apache Cassandra.
Python en Spark voor Big Data (PySpark)
21 UrenIn deze door een instructeur geleide, live training in België, leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze werken aan praktische oefeningen.
Aan het einde van deze training zijn de deelnemers in staat om:
- Leer hoe u Spark kunt gebruiken met Python om Big Data te analyseren.
- Werk aan oefeningen die gevallen uit de echte wereld nabootsen.
- Gebruik verschillende tools en technieken voor big data-analyse met behulp van PySpark.
Microservices met Spring Cloud en Kafka
21 UrenDit instructeur-led, live-training in België (online of on-site) is gericht op ontwikkelaars die willen transformeren van traditionele architectuur naar een zeer geconcurrenteerd microservices-gebaseerde architectuur met behulp van Spring Cloud, Kafka, Docker, Kubernetes en Redis.
Aan het einde van deze training zullen de deelnemers in staat zijn:
- Het benodigde ontwikkelomgeving voor het bouwen van microservices op te zetten.
- Een zeer geconcurrenteerde microservices-ecosysteem te ontwerpen en implementeren met behulp van Spring Cloud, Kafka, Redis, Docker en Kubernetes.
- Monolitische en SOA-services om te zetten naar een microservices-gebaseerde architectuur.
- Een DevOps-benadering aan het ontwikkelen, testen en releasen van software aan te nemen.
- Hoge concurrentie tussen microservices in productie te garanderen.
- Microservices te monitoren en herstelstrategieën te implementeren.
- Prestatieoptimalisaties uit te voeren.
- Meer te leren over toekomstige trends in microservices-architectuur.
Stratio: Rocket en Intelligence Modules met PySpark
14 UrenStratio is een datacentrisch platform dat big data, AI en governance integreert in één oplossing. De Rocket- en Intelligence-modules maken snelle data-exploratie, transformatie en geavanceerde analyse mogelijk in bedrijfsumgevingen.
Deze door instructeurs geleide, live-training (online of op locatie) is gericht op geavanceerde data-professionals die de Rocket- en Intelligence-modules in Stratio effectief willen gebruiken met PySpark, met focus op lusstructuren, gebruikersgedefinieerde functies en geavanceerde datalogica.
Aan het einde van deze training zullen de deelnemers in staat zijn om:
- Te navigeren en te werken binnen het Stratio-platform met behulp van de Rocket- en Intelligence-modules.
- PySpark toe te passen in de context van data-inname, transformatie en analyse.
- Lussen en conditionele logica te gebruiken om data-workflows en feature-engineeringtaken te besturen.
- Gebruikersgedefinieerde functies (UDFs) te creëren en beheren voor herbruikbare data-operaties in PySpark.
Formaat van de cursus
- Interactieve colleges en discussies.
- Veel oefeningen en praktijk.
- Hands-on implementatie in een live-laboratoriumomgeving.
Opties voor cursusaanpassing
- Voor het aanvragen van een aangepaste training voor deze cursus, neem dan contact met ons op om dit te regelen.