Cursusaanbod
Inleiding tot Apache Airflow
- Wat is workflow-orkestratie
- Belangrijkste functies en voordelen van Apache Airflow
- Verbeteringen in Airflow 2.x en een overzicht van het ecosysteem
Architectuur en kernconcepten
- Scheduler, webserver en worker-processen
- DAG's, taken en operators
- Executors en backends (Local, Celery, Kubernetes)
Installatie en opzet
- Airflow installeren in lokale en cloudomgevingen
- Airflow configureren met verschillende executors
- Metadata-databases en verbindingen instellen
Navigeren in de Airflow UI en CLI
- Verkenning van de Airflow webinterface
- Monitoring van DAG-runs, taken en logs
- Gebruik van de Airflow CLI voor beheer
DAG's samenstellen en beheren
- DAG's aanmaken met de TaskFlow API
- Gebruik van operators, sensors en hooks
- Afhankelijkheden en planningstermijnen beheren
Airflow integreren met data- en cloudservices
- Verbinding maken met databases, API's en message queues
- ETL-pipelines uitvoeren met Airflow
- Cloud-integraties: AWS, GCP, Azure operators
Monitoring en observability
- Task-logs en real-time monitoring
- Metrieken met Prometheus en Grafana
- Meldingen en notificaties via e-mail of Slack
Apache Airflow beveiligen
- Role-based access control (RBAC)
- Authenticatie met LDAP, OAuth en SSO
- Beheer van secrets met Vault en cloud-secret stores
Apache Airflow schalen
- Parallelisme, concurrentie en task-queues
- Gebruik van CeleryExecutor en KubernetesExecutor
- Airflow deployen op Kubernetes met Helm
Beste praktijken voor productie
- Versiebeheer en CI/CD voor DAG's
- DAG's testen en debuggen
- Betrouwbaarheid en prestaties op schaal waarborgen
Probleemoplossing en optimalisatie
- Debuggen van mislukte DAG's en taken
- Optimalisatie van DAG-prestaties
- Veelgemaakte fouten en hoe deze te vermijden
Samenvatting en vervolgstappen
Vereisten
- Ervaring met Python-programmeren
- Bekendheid met concepten op het gebied van data engineering of DevOps
- Begrip van ETL of workflow-orkestratie
Doelgroep
- Data scientists
- Data engineers
- DevOps- en infrastructure engineers
- Softwareontwikkelaars
Getuigenissen (7)
De instructeur heeft de training aangepast aan het niveau van de deelnemers en reageerde op alle vragen. Hij was zeer communicatief, waardoor het gemakkelijk was om met hem te interacteren. Ik heb de opbouw van de training erg gewaardeerd, die veel praktische oefeningen bevatte. In het algemeen was het een zeer aangrijpende en goed georganiseerde sessie.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Cursus - Apache Airflow: Building and Managing Data Pipelines
Automatisch vertaald
De training was perfect. Zeer nuttige theorie en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was op alle aspecten zeer goed. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was uitstekend op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
