Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Inleiding tot Apache Airflow
- Wat is workflow orchestratie
- Belangrijke kenmerken en voordelen van Apache Airflow
- Verbeteringen en overzicht van de Airflow 2.x-ecosysteem
Architectuur en Core Concepts
- Scheduler, web server, en worker processen
- DAGs, taken, en operators
- Executors en backends (Local, Celery, Kubernetes)
Installatie en Instelling
- Installeren van Airflow in lokale en cloudomgevingen
- Configureren van Airflow met verschillende executors
- Opzetten van metadata databases en verbindingen
Navigeren door de Airflow UI en CLI
- De Airflow webinterface verkennen
- DAG runs, taken, en logs monitoren
- Het gebruik van de Airflow CLI voor beheer
Het schrijven en beheren van DAGs
- Het maken van DAGs met de TaskFlow API
- Het gebruik van operators, sensors, en hooks
- Het beheren van afhankelijkheden en planningintervallen
Integratie van Airflow met data- en cloudservices
- Verbinding maken met databases, APIs, en berichtenwachtrijen
- ETL-pijplijnen uitvoeren met Airflow
- Cloud-integraties: AWS, GCP, Azure operators
Monitoring en observabiliteit
- Taaklogs en real-time monitoring
- Metrics met Prometheus en Grafana
- Waarschuwingen en meldingen via e-mail of Slack
Beveiliging van Apache Airflow
- Rolgebaseerde toegangskontrole (RBAC)
- Authenticatie met LDAP, OAuth, en SSO
- Geheimenbeheer met Vault en cloudsecretstores
Schalen van Apache Airflow
- Parallelisme, concurrentie, en taakwachtrijen
- Het gebruik van CeleryExecutor en KubernetesExecutor
- Deploys van Airflow op Kubernetes met Helm
Beste praktijken voor productie
- Versiebeheer en CI/CD voor DAGs
- Het testen en debuggen van DAGs
- Betrouwbaarheid en prestaties op schaal onderhouden
Probleemoplossing en optimalisatie
- Het debuggen van mislukte DAGs en taken
- Het optimaliseren van DAG-prestaties
- Veelvoorkomende valkuilen en hoe deze te vermijden
Samenvatting en volgende stappen
Vereisten
- Ervaring met Python-programmeren
- Kennis van data engineering of DevOps-concepten
- Begrip van ETL of workfloworchestratie
Doelgroep
- Datawetenschappers
- Data engineers
- DevOps en infrastructuur engineers
- Softwareontwikkelaars
21 Uren
Getuigenissen (7)
De instructeur heeft de training aangepast aan het niveau van de deelnemers en reageerde op alle vragen. Hij was zeer communicatief, waardoor het gemakkelijk was om met hem te interacteren. Ik heb de opbouw van de training erg gewaardeerd, die veel praktische oefeningen bevatte. In het algemeen was het een zeer aangrijpende en goed georganiseerde sessie.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Cursus - Apache Airflow: Building and Managing Data Pipelines
Automatisch vertaald
De training was perfect. Zeer nuttige theorie en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was op alle aspecten zeer goed. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was uitstekend op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
