Apache Kafka for Python Programmers Training Cursus

Apache Beam is een open source, uniform programmeermodel voor het definiëren en uitvoeren van parallelle gegevensverwerkingspijplijnen. De kracht ligt in de mogelijkheid om zowel batch- als streaming-pijplijnen uit te voeren, waarbij de uitvoering wordt uitgevoerd door een van de ondersteunde gedistribueerde verwerkingsback-ends van Beam: Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow. Apache Beam is handig voor ETL-taken (Extract, Transform en Load), zoals het verplaatsen van gegevens tussen verschillende opslagmedia en gegevensbronnen, het transformeren van gegevens naar een meer wenselijk formaat en het laden van gegevens op een nieuw systeem.

In deze live training onder leiding van een instructeur (op locatie of op afstand) leren deelnemers hoe ze de Apache Beam SDK's kunnen implementeren in een Java of Python applicatie die een gegevensverwerkingspijplijn definieert voor het opsplitsen van een grote dataset in kleinere brokken voor onafhankelijke, parallelle verwerking.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Apache Beam.
• Gebruik een enkel programmeermodel om zowel batch- als streamverwerking uit te voeren vanuit hun Java of Python toepassing.
• Voer pijplijnen uit in meerdere omgevingen.

Vorm van de cursus

• Deels lezing, deels discussie, oefeningen en zware hands-on oefening

Notitie

• Deze cursus zal in de toekomst beschikbaar zijn Scala. Neem contact met ons op om dit te regelen.

Deze instructeur-geleide, live training (ter plaatse of op afstand) is gericht op ingenieurs die Confluent (een distributie van Kafka) willen gebruiken om een realtime gegevensverwerkingsplatform voor hun toepassingen te bouwen en te beheren.

Aan het einde van deze training kunnen deelnemers:

• Confluent Platform installeren en configureren.
• Confluents beheertools en -diensten gebruiken om Kafka makkelijker te runnen.
• Inkomende stroomgegevens opslaan en verwerken.
• Kafka-clusters optimaliseren en beheren.
• Datastromen beveiligen.

Indeling van de cursus

• Interactieve colleges en discussies.
• Veel oefeningen en praktijk.
• Praktische implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Deze cursus is gebaseerd op de open-source versie van Confluent: Confluent Open Source.
• Voor een aangepaste training voor deze cursus, neem contact met ons op om dit te regelen.

Apache Kafka is een verspreid streamingplatform. Het is de facto een standaard voor het bouwen van gegevenspijpleidingen en lost veel verschillende use-cases op rond gegevensverwerking: het kan worden gebruikt als berichtenwachtrij, gedistribueerd logboek, streamprocessor, enz.

We beginnen met wat theorie achter datapijplijnen in het algemeen en gaan dan verder met fundamentele concepten achter Kafka. We zullen ook belangrijke componenten ontdekken zoals Kafka Streams en Kafka Connect.

Deze live training onder leiding van een instructeur in België (online of ter plaatse) introduceert de principes en benaderingen achter gedistribueerde stream- en batchgegevensverwerking, en begeleidt deelnemers bij het maken van een real-time toepassing voor gegevensstreaming in Apache Flink.

Aan het einde van deze training zijn de deelnemers in staat om:

• Zet een omgeving op voor het ontwikkelen van toepassingen voor data-analyse.
• Begrijp hoe de grafische verwerkingsbibliotheek van Apache Flink (Gelly) werkt.
• Verpak, voer uit en bewaak op Fusen gebaseerde, fouttolerante toepassingen voor gegevensstreaming.
• Beheer diverse workloads.
• Voer geavanceerde analyses uit.
• Stel een Flink-cluster met meerdere knooppunten in.
• Meet en optimaliseer prestaties.
• Integreer Flink met verschillende Big Data systemen.
• Vergelijk de mogelijkheden van Flink met die van andere frameworks voor de verwerking van big data.

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.

Deze cursus is bedoeld voor enterprise-architecten, ontwikkelaars, systeembeheerders en iedereen die een gedistribueerd berichtensysteem met hoge doorvoer wil begrijpen en gebruiken. Als u meer specifieke vereisten heeft (bijvoorbeeld alleen systeembeheer), kan deze cursus worden aangepast om beter aan uw behoeften te voldoen.

Kafka Streams is een client-side bibliotheek voor het bouwen van applicaties en microservices waarvan de gegevens worden doorgegeven aan en van een Kafka-berichtensysteem. Traditioneel vertrouwde Apache Kafka op Apache Spark of Apache Storm om gegevens tussen berichtproducenten en consumenten te verwerken. Door de Kafka Streams API vanuit een applicatie aan te roepen, kunnen gegevens direct in Kafka worden verwerkt, waardoor de noodzaak om de gegevens naar een afzonderlijk cluster te sturen voor verwerking wordt omzeild.

In deze live training onder leiding van een instructeur leren deelnemers hoe ze Kafka Streams kunnen integreren in een reeks voorbeeld Java applicaties die gegevens van en naar Apache Kafka doorgeven voor stroomverwerking.

Aan het einde van deze training kunnen deelnemers:

• De functies en voordelen van Kafka Streams begrijpen in vergelijking met andere stroomverwerkingsframeworks
• Stroomgegevens direct binnen een Kafka-cluster verwerken
• Een Java of Scala applicatie of microservice schrijven die geïntegreerd is met Kafka en Kafka Streams
• Concis code schrijven die invoer Kafka-onderwerpen omzet in uitvoer Kafka-onderwerpen
• De applicatie bouwen, pakketteren en implementeren

Publiek

• Ontwikkelaars

Formaat van de cursus

• Gedeeltelijk college, gedeeltelijk discussie, oefeningen en veel praktijk

Notes

• Om een aangepaste training voor deze cursus aan te vragen, neem dan contact met ons op om dit te regelen

Deze live training onder leiding van een instructeur in België (online of ter plaatse) is bedoeld voor ontwikkelaars die Apache Kafka streamverwerking willen implementeren zonder code te schrijven.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Confluent KSQL.
• Stel een stroomverwerkingspijplijn in met alleen SQL opdrachten (geen Java of Python codering).
• Voer gegevensfiltering, transformaties, aggregaties, joins, windowing en sessionization volledig uit in SQL.
• Ontwerp en implementeer interactieve, continue query's voor streaming ETL en realtime analyses.

In deze live training onder leiding van een instructeur in België (ter plaatse of op afstand) leren deelnemers hoe ze Apache NiFi kunnen implementeren en beheren in een live labomgeving.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Apachi NiFi.
• Bron, transformeer en beheer gegevens uit ongelijksoortige, gedistribueerde gegevensbronnen, waaronder databases en big data lakes.
• Automatiseer gegevensstromen.
• Schakel streaminganalyse in.
• Pas verschillende benaderingen toe voor gegevensopname.
• Transformeer Big Data en naar zakelijke inzichten.

In deze door een instructeur geleide, live training in België leren deelnemers de basisprincipes van flow-based programmeren terwijl ze een aantal demo-extensies, componenten en processors ontwikkelen met behulp van Apache NiFi.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de architectuur en dataflowconcepten van NiFi.
• Ontwikkel extensies met behulp van NiFi en API's van derden.
• Op maat ontwikkelen van hun eigen Apache Nifi processor.
• Neem real-time gegevens op en verwerk ze uit ongelijksoortige en ongebruikelijke bestandsindelingen en gegevensbronnen.

Deze live training onder leiding van een instructeur in België (online of ter plaatse) is bedoeld voor data-engineers, datawetenschappers en programmeurs die Spark Streaming functies willen gebruiken bij het verwerken en analyseren van realtime gegevens.

Aan het einde van deze training zijn deelnemers in staat om Spark Streaming te gebruiken om live datastromen te verwerken voor gebruik in databases, bestandssystemen en live dashboards.

Deze door een instructeur geleide, live training in België (op locatie of op afstand) is gericht op ontwikkelaars die traditionele architectuur willen transformeren naar een zeer gelijktijdige, op microservices gebaseerde architectuur met behulp van Spring Cloud, Kafka, Docker, Kubernetes en Redis.

Aan het einde van deze training kunnen deelnemers:

• Zet de benodigde ontwikkelomgeving op voor het bouwen van microservices.
• Ontwerp en implementeer een zeer gelijktijdig ecosysteem voor microservices met behulp van Spring Cloud, Kafka, Redis, Docker en Kubernetes.
• Transformeer monolithische en SOA-services naar op microservices gebaseerde architectuur.
• Hanteer een DevOps-aanpak bij het ontwikkelen, testen en vrijgeven van software.
• Zorg voor een hoge mate van gelijktijdigheid tussen microservices in productie.
• Bewaak microservices en implementeer herstelstrategieën.
• Voer prestatieafstemming uit.
• Leer meer over toekomstige trends in de architectuur van microservices.