Cursusaanbod
Samenvatting van Apache Airflow Fundamentals
- Kernconcepten: interne adviesgroepen, operators en uitvoeringsstroom
- Luchtstroomarchitectuur en componenten
- Inzicht in geavanceerde gebruiksscenario's en workflows
Aangepaste operators maken
- Inzicht in de anatomie van een Airflow-operator
- Ontwikkelen van aangepaste operators voor specifieke taken
- Testen en debuggen van aangepaste operators
Aangepaste haken en sensoren
- Implementeren van haken voor externe systeemintegratie
- Sensoren maken voor het bewaken van externe triggers
- Verbetering van de interactiviteit van de workflow met aangepaste sensoren
Airflow-plug-ins ontwikkelen
- Inzicht in de architectuur van de plug-in
- Plug-ins ontwerpen om de Airflow-functionaliteit uit te breiden
- Best practices voor het beheren en implementeren van plug-ins
Integratie van luchtstroom met externe systemen
- Airflow verbinden met databases, API's en cloudservices
- Airflow gebruiken voor ETL-workflows en real-time gegevensverwerking
- Afhankelijkheden beheren tussen Airflow en externe systemen
Geavanceerde foutopsporing en monitoring
- Luchtstroomlogboeken en metrische gegevens gebruiken voor het oplossen van problemen
- Waarschuwingen en meldingen voor workflowproblemen configureren
- Gebruikmaken van externe monitoringtools met Airflow
Prestaties en Scalabiliteit optimaliseren
- Luchtstroom schalen met selderij en Kubernetes uitvoerders
- Optimalisering van het gebruik van resources in complexe workflows
- Strategieën voor hoge beschikbaarheid en fouttolerantie
Casestudy's en toepassingen in de echte wereld
- Verkennen van geavanceerde gebruiksscenario's in data-engineering en DevOps
- Case study: Implementatie van aangepaste operators voor grootschalige ETL
- Best practices voor het beheren van workflows op bedrijfsniveau
Samenvatting en volgende stappen
Vereisten
- Sterk begrip van de basisprincipes van Apache Airflow, waaronder DAG's, operators en uitvoeringsarchitectuur
- Vaardigheid in Python programmeren
- Ervaring met het integreren van datasystemen en workflow orchestration
Audiëntie
- Data-ingenieurs
- DevOps Ingenieurs
- Software architecten
Getuigenissen (1)
De instructeur heeft de training aangepast aan het niveau van de deelnemers en reageerde op alle vragen. Hij was zeer communicatief, waardoor het gemakkelijk was om met hem te interacteren. Ik heb de opbouw van de training erg gewaardeerd, die veel praktische oefeningen bevatte. In het algemeen was het een zeer aangrijpende en goed georganiseerde sessie.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Cursus - Apache Airflow: Building and Managing Data Pipelines
Automatisch vertaald