Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Introductie
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm en Flink
Installeren en configureren Apache Beam
Overzicht van Apache Beam functies en architectuur
- Straalmodel, SDK's, de Lopers van de straalpijpleiding
- Back-ends voor gedistribueerde verwerking
Het Apache Beam Programming model begrijpen
- Hoe een pijplijn wordt uitgevoerd
Een voorbeeldpijplijn uitvoeren
- Een WordCount-pijplijn voorbereiden
- De pijplijn lokaal uitvoeren
Het ontwerpen van een pijpleiding
- Het plannen van de structuur, het kiezen van de transformaties en het bepalen van de invoer- en uitvoermethoden
De pijplijn maken
- Het schrijven van het driverprogramma en het definiëren van de pipeline
- Apache Beam klassen gebruiken
- Datasets, transformaties, I/O, datacodering, enz.
Uitvoeren van de pijplijn
- De pijplijn lokaal, op externe machines en in een openbare cloud uitvoeren
- Een hardloper kiezen
- Runner-specifieke configuraties
Testen en debuggen Apache Beam
- Typehints gebruiken om statisch typen na te bootsen
- Afhankelijkheden van pijplijnen beheren Python
Begrensde en niet-begrensde gegevenssets verwerken
- Vensters en triggers
Uw pijpleidingen herbruikbaar en onderhoudbaar maken
Nieuwe gegevensbronnen en sinks maken
- Apache Beam Bron- en Sink-API
Integratie Apache Beam met andere Big Data systemen
- Apache Hadoop, Apache Spark, Apache Kafka
Probleemoplossing
Samenvatting en conclusie
Vereisten
- Ervaring met Python Programming.
- Ervaring met de Linux command line.
Audiëntie
- Ontwikkelaars
14 Uren