Plan du cours
Introduction à Apache Airflow
- Qu'est-ce que l'orchestration de flux de travail
- Principales fonctionnalités et avantages d'Apache Airflow
- Améliorations d'Airflow 2.x et aperçu de l'écosystème
Architecture et concepts de base
- Processus de planification, serveur web et processus de travail
- DAG, tâches et opérateurs
- Exécuteurs et backends (Local, Celery, Kubernetes)
Installation et configuration
- Installation d'Airflow dans des environnements locaux et cloud
- Configuration d'Airflow avec différents exécuteurs
- Configuration des bases de données de métadonnées et des connexions
Navigation dans l'interface utilisateur et l'interface en ligne de commande d'Airflow
- Exploration de l'interface web d'Airflow
- Surveillance des exécutions de DAG, des tâches et des journaux
- Utilisation de l'interface en ligne de commande d'Airflow pour l'administration
Conception et gestion des DAG
- Création de DAG avec la TaskFlow API
- Utilisation d'opérateurs, de capteurs et de hooks
- Gestion des dépendances et des intervalles de planification
Intégration d'Airflow avec les services de données et cloud
- Connexion aux bases de données, API et files de messages
- Exécution de pipelines ETL avec Airflow
- Intégrations cloud : opérateurs AWS, GCP, Azure
Surveillance et observabilité
- Journaux des tâches et surveillance en temps réel
- Métriques avec Prometheus et Grafana
- Alertes et notifications par e-mail ou Slack
Sécurisation d'Apache Airflow
- Contrôle d'accès basé sur les rôles (RBAC)
- Authentification avec LDAP, OAuth et SSO
- Gestion des secrets avec Vault et les dépôts de secrets cloud
Dimensionnement d'Apache Airflow
- Parallélisme, concurrence et files de tâches
- Utilisation de CeleryExecutor et KubernetesExecutor
- Déploiement d'Airflow sur Kubernetes avec Helm
Bonnes pratiques pour la production
- Gestion des versions et CI/CD pour les DAG
- Tests et débogage des DAG
- Maintien de la fiabilité et des performances à grande échelle
Dépannage et optimisation
- Débogage des DAG et tâches en échec
- Optimisation des performances des DAG
- Pièges courants et comment les éviter
Résumé et prochaines étapes
Pré requis
- Expérience de la programmation Python
- Connaissance des concepts d'ingénierie des données ou de la DevOps
- Compréhension de l'ETL ou de l'orchestration de flux de travail
Public cible
- Scientifiques de données
- Ingénieurs en données
- Ingénieurs DevOps et d'infrastructure
- Développeurs logiciels
Nos clients témoignent (7)
L'instructeur a adapté la formation au niveau des participants et a répondu à toutes les questions. Il était très communicatif, et il était facile d'interagir avec lui. J'ai vraiment apprécié le format de la formation, qui comprenait de nombreux exercices pratiques. Dans l'ensemble, c'était une séance très engageante et bien organisée.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Formation - Apache Airflow: Building and Managing Data Pipelines
Traduction automatique
La formation était excellente. La théorie et les exercices étaient très utiles.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pratiques.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
La formation était parfaite sous tous les aspects. Des aspects théoriques utiles et des exercices pertinents.
Vladimir - PUBLIC COURSE
Formation - Apache Airflow
Traduction automatique
