Cursusaanbod

Inleiding tot Apache Airflow

  • Wat is workflow orchestratie
  • Belangrijke kenmerken en voordelen van Apache Airflow
  • Verbeteringen en overzicht van de Airflow 2.x-ecosysteem

Architectuur en Core Concepts

  • Scheduler, web server, en worker processen
  • DAGs, taken, en operators
  • Executors en backends (Local, Celery, Kubernetes)

Installatie en Instelling

  • Installeren van Airflow in lokale en cloudomgevingen
  • Configureren van Airflow met verschillende executors
  • Opzetten van metadata databases en verbindingen

Navigeren door de Airflow UI en CLI

  • De Airflow webinterface verkennen
  • DAG runs, taken, en logs monitoren
  • Het gebruik van de Airflow CLI voor beheer

Het schrijven en beheren van DAGs

  • Het maken van DAGs met de TaskFlow API
  • Het gebruik van operators, sensors, en hooks
  • Het beheren van afhankelijkheden en planningintervallen

Integratie van Airflow met data- en cloudservices

  • Verbinding maken met databases, APIs, en berichtenwachtrijen
  • ETL-pijplijnen uitvoeren met Airflow
  • Cloud-integraties: AWS, GCP, Azure operators

Monitoring en observabiliteit

  • Taaklogs en real-time monitoring
  • Metrics met Prometheus en Grafana
  • Waarschuwingen en meldingen via e-mail of Slack

Beveiliging van Apache Airflow

  • Rolgebaseerde toegangskontrole (RBAC)
  • Authenticatie met LDAP, OAuth, en SSO
  • Geheimenbeheer met Vault en cloudsecretstores

Schalen van Apache Airflow

  • Parallelisme, concurrentie, en taakwachtrijen
  • Het gebruik van CeleryExecutor en KubernetesExecutor
  • Deploys van Airflow op Kubernetes met Helm

Beste praktijken voor productie

  • Versiebeheer en CI/CD voor DAGs
  • Het testen en debuggen van DAGs
  • Betrouwbaarheid en prestaties op schaal onderhouden

Probleemoplossing en optimalisatie

  • Het debuggen van mislukte DAGs en taken
  • Het optimaliseren van DAG-prestaties
  • Veelvoorkomende valkuilen en hoe deze te vermijden

Samenvatting en volgende stappen

Vereisten

  • Ervaring met Python-programmeren
  • Kennis van data engineering of DevOps-concepten
  • Begrip van ETL of workfloworchestratie

Doelgroep

  • Datawetenschappers
  • Data engineers
  • DevOps en infrastructuur engineers
  • Softwareontwikkelaars
 21 Uren

Aantal deelnemers


Prijs Per Deelnemer

Getuigenissen (7)

Voorlopige Aankomende Cursussen

Gerelateerde categorieën