Plan du cours
Architecture d'entreprise et conception de pipelines
- Architectures ETL multicouches
- Conception de composants modulaires et réutilisables
- Approches hybrides entre systèmes
Ingénierie des performances avancée
- Optimisation au niveau des étapes
- Stratégies de parallélisme et de threading
- Surveillance des pipelines à haut débit
Automatisation, scripting et extensions personnalisées
- Scripting au sein des transformations
- Développement de plugins personnalisés
- Extension des capacités PDI avec Java et JavaScript
Traitement de données complexes et intégrations
- Intégrations en temps réel et streaming
- Travail avec des plateformes Big Data
- Traitement de fichiers et d'API avancés
Gouvernance, sécurité et conformité des données
- Sécurisation des transformations et des identifiants
- Traçabilité et lignée des données
- Considérations réglementaires et de conformité
Orchestration et planification d'entreprise
- Gestion des grands réseaux de tâches
- Conception de la récupération d'erreur et du basculement
- Orchestration au niveau de l'environnement
Référentiel, contrôle de version et CI/CD
- Stratégies de référentiel d'entreprise
- Intégration de PDI avec Git
- Modèles de déploiement continu
Déploiement, surveillance et opérations en production
- Promotion des solutions entre les environnements
- Outils opérationnels et tableaux de bord
- Prêt pour la production, de bout en bout
Résumé et prochaines étapes
Pré requis
- Une compréhension des pipelines ETL et de la modélisation des données
- Une expérience avec des transformations PDI intermédiaires
- Des compétences solides en SQL et en scripting
Public cible
- Ingénieurs seniors en données
- Architectes ETL
- Professionnels gérant des charges de travail d'intégration de données complexes
Nos clients témoignent (2)
Très utile car cela m'aide à comprendre ce que nous pouvons faire avec les données dans notre contexte. Cela m'aidera également
Nicolas NEMORIN - Adecco Groupe France
Formation - KNIME Analytics Platform for BI
Traduction automatique
C'est une session pratique.
Vorraluck Sarechuer - Total Access Communication Public Company Limited (dtac)
Formation - Talend Open Studio for ESB
Traduction automatique