Formation Apache Airflow avancé : opérateurs personnalisés et plugins

Cette formation en présentiel ou à distance, encadrée par un formateur, <lieu> s'adresse à des participants de niveau avancé souhaitant déployer Apache Airflow dans des environnements cloud, mettre en place des pipelines CI/CD et implémenter des pratiques robustes de surveillance et de journalisation.

À l'issue de cette formation, les participants seront capables de :

• Déployer Apache Airflow dans des environnements cloud et conteneurisés.
• Mettre en place des pipelines CI/CD pour automatiser les tests et le déploiement des DAG.
• Intégrer des outils de surveillance et de journalisation pour améliorer la fiabilité du système.
• Optimiser les configurations d'Airflow pour des performances et une évolutivité accrues.
• Implémenter les meilleures pratiques de sécurité pour la gestion des workflows et des environnements.

Cette formation en direct avec un instructeur en Belgique (en ligne ou sur site) s'adresse à des participants de niveau intermédiaire souhaitant automatiser et gérer des workflows d'apprentissage automatique, incluant l'entraînement des modèles, la validation et le déploiement à l'aide d'Apache Airflow.

À l'issue de cette formation, les participants seront capables de :

• Configurer Apache Airflow pour l'orchestration de workflows d'apprentissage automatique.
• Automatiser le prétraitement des données, l'entraînement des modèles et les tâches de validation.
• Intégrer Airflow avec des frameworks et des outils d'apprentissage automatique.
• Déployer des modèles d'apprentissage automatique à l'aide de pipelines automatisés.
• Surveiller et optimiser les workflows d'apprentissage automatique en production.

Apache Airflow est une plateforme open source permettant de créer, planifier et surveiller des workflows. Avec Airflow 2.x, les organisations peuvent orchestrer des pipelines de données à grande échelle, intégrer des services cloud et garantir une observabilité et une sécurité robustes dans les environnements de production.

Cette formation animée par un formateur (en ligne ou en présentiel) s'adresse aux professionnels de la donnée et des DevOps, de niveau débutant à intermédiaire, qui souhaitent utiliser Apache Airflow pour construire, automatiser et mettre à l'échelle des pipelines de bout en bout.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Airflow dans différents environnements.
• Rédiger, planifier et surveiller des DAG à l'aide de l'API TaskFlow.
• Intégrer Airflow avec des sources de données, des services cloud et des workflows ML.
• Gérer les pipelines ETL et assurer la fiabilité des données.
• Sécuriser et mettre à l'échelle Airflow en utilisant des executors, des files d'attente et Kubernetes.
• Appliquer les principes d'observabilité et les bonnes pratiques pour les déploiements en production.

Format de la formation

• Cours interactifs et échanges.
• Nombreux exercices et pratique.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.

Cette formation en présentiel ou en ligne, animée par un instructeur, est dispensée en <lieu> (en ligne ou sur site) et s'adresse aux participants de niveau intermédiaire souhaitant optimiser les performances de leurs workflows, gérer des dépendances complexes et mettre à l'échelle les déploiements Apache Airflow pour des ensembles de données plus volumineux et des cas d'utilisation enterprise.

À l'issue de cette formation, les participants seront capables de :

• Optimiser les workflows Apache Airflow afin d'en améliorer les performances et la fiabilité.
• Gérer et dépanner les dépendances complexes entre les tâches.
• Exploiter les fonctionnalités avancées d'Airflow, notamment les opérateurs personnalisés et les capteurs (sensors).
• Mettre à l'échelle Apache Airflow pour traiter des ensembles de données plus grands et des systèmes distribués.
• Appliquer les meilleures pratiques de monitoring, de journalisation et de sécurité dans les environnements Airflow.