Cursusaanbod
Inleiding tot Apache Airflow
- Wat is workflow orchestratie
- Belangrijke kenmerken en voordelen van Apache Airflow
- Verbeteringen en overzicht van de Airflow 2.x-ecosysteem
Architectuur en Core Concepts
- Scheduler, web server, en worker processen
- DAGs, taken, en operators
- Executors en backends (Local, Celery, Kubernetes)
Installatie en Instelling
- Installeren van Airflow in lokale en cloudomgevingen
- Configureren van Airflow met verschillende executors
- Opzetten van metadata databases en verbindingen
Navigeren door de Airflow UI en CLI
- De Airflow webinterface verkennen
- DAG runs, taken, en logs monitoren
- Het gebruik van de Airflow CLI voor beheer
Het schrijven en beheren van DAGs
- Het maken van DAGs met de TaskFlow API
- Het gebruik van operators, sensors, en hooks
- Het beheren van afhankelijkheden en planningintervallen
Integratie van Airflow met data- en cloudservices
- Verbinding maken met databases, APIs, en berichtenwachtrijen
- ETL-pijplijnen uitvoeren met Airflow
- Cloud-integraties: AWS, GCP, Azure operators
Monitoring en observabiliteit
- Taaklogs en real-time monitoring
- Metrics met Prometheus en Grafana
- Waarschuwingen en meldingen via e-mail of Slack
Beveiliging van Apache Airflow
- Rolgebaseerde toegangskontrole (RBAC)
- Authenticatie met LDAP, OAuth, en SSO
- Geheimenbeheer met Vault en cloudsecretstores
Schalen van Apache Airflow
- Parallelisme, concurrentie, en taakwachtrijen
- Het gebruik van CeleryExecutor en KubernetesExecutor
- Deploys van Airflow op Kubernetes met Helm
Beste praktijken voor productie
- Versiebeheer en CI/CD voor DAGs
- Het testen en debuggen van DAGs
- Betrouwbaarheid en prestaties op schaal onderhouden
Probleemoplossing en optimalisatie
- Het debuggen van mislukte DAGs en taken
- Het optimaliseren van DAG-prestaties
- Veelvoorkomende valkuilen en hoe deze te vermijden
Samenvatting en volgende stappen
Vereisten
- Ervaring met Python-programmeren
- Kennis van data engineering of DevOps-concepten
- Begrip van ETL of workfloworchestratie
Doelgroep
- Datawetenschappers
- Data engineers
- DevOps en infrastructuur engineers
- Softwareontwikkelaars
Getuigenissen (7)
The training was spot on. Very useful theory and exercices.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.