Formation Apache Airflow intermédiaire : optimiser et mettre à l'échelle les workflows

Cette formation en direct, animée par un formateur à Belgique (en ligne ou en présentiel), s'adresse à des participants de niveau avancé souhaitant créer des opérateurs, capteurs et plugins personnalisés dans Apache Airflow, et les intégrer à des systèmes de données existants pour une automatisation et une surveillance avancées.

À l'issue de cette formation, les participants seront capables de :

• Développer des opérateurs, hooks et capteurs personnalisés adaptés à des workflows spécifiques.
• Concevoir et implémenter des plugins Airflow pour étendre les fonctionnalités.
• Intégrer les workflows Airflow avec des systèmes et services externes.
• Optimiser et surveiller les workflows à l'aide d'outils de débogage avancés.
• Appliquer les bonnes pratiques pour gérer des déploiements Airflow à grande échelle.

Cette formation en présentiel ou à distance, encadrée par un formateur, <lieu> s'adresse à des participants de niveau avancé souhaitant déployer Apache Airflow dans des environnements cloud, mettre en place des pipelines CI/CD et implémenter des pratiques robustes de surveillance et de journalisation.

À l'issue de cette formation, les participants seront capables de :

• Déployer Apache Airflow dans des environnements cloud et conteneurisés.
• Mettre en place des pipelines CI/CD pour automatiser les tests et le déploiement des DAG.
• Intégrer des outils de surveillance et de journalisation pour améliorer la fiabilité du système.
• Optimiser les configurations d'Airflow pour des performances et une évolutivité accrues.
• Implémenter les meilleures pratiques de sécurité pour la gestion des workflows et des environnements.

Cette formation en direct avec un instructeur en Belgique (en ligne ou sur site) s'adresse à des participants de niveau intermédiaire souhaitant automatiser et gérer des workflows d'apprentissage automatique, incluant l'entraînement des modèles, la validation et le déploiement à l'aide d'Apache Airflow.

À l'issue de cette formation, les participants seront capables de :

• Configurer Apache Airflow pour l'orchestration de workflows d'apprentissage automatique.
• Automatiser le prétraitement des données, l'entraînement des modèles et les tâches de validation.
• Intégrer Airflow avec des frameworks et des outils d'apprentissage automatique.
• Déployer des modèles d'apprentissage automatique à l'aide de pipelines automatisés.
• Surveiller et optimiser les workflows d'apprentissage automatique en production.

Apache Airflow est une plateforme open source permettant de créer, planifier et surveiller des workflows. Avec Airflow 2.x, les organisations peuvent orchestrer des pipelines de données à grande échelle, intégrer des services cloud et garantir une observabilité et une sécurité robustes dans les environnements de production.

Cette formation animée par un formateur (en ligne ou en présentiel) s'adresse aux professionnels de la donnée et des DevOps, de niveau débutant à intermédiaire, qui souhaitent utiliser Apache Airflow pour construire, automatiser et mettre à l'échelle des pipelines de bout en bout.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Airflow dans différents environnements.
• Rédiger, planifier et surveiller des DAG à l'aide de l'API TaskFlow.
• Intégrer Airflow avec des sources de données, des services cloud et des workflows ML.
• Gérer les pipelines ETL et assurer la fiabilité des données.
• Sécuriser et mettre à l'échelle Airflow en utilisant des executors, des files d'attente et Kubernetes.
• Appliquer les principes d'observabilité et les bonnes pratiques pour les déploiements en production.

Format de la formation

• Cours interactifs et échanges.
• Nombreux exercices et pratique.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.