Plan du cours
Architecture d'entreprise et conception des pipelines
- Architectures ETL multicouches
- Conception de composants modulaires et réutilisables
- Approches hybrides entre systèmes
Ingénierie des performances avancée
- Optimisation au niveau des étapes
- Stratégies de parallélisme et de thread
- Surveillance des pipelines à haute charge
Automatisation, scripting et extensions personnalisées
- Scripting au sein des transformations
- Développement de plugins personnalisés
- Extension des capacités de PDI avec Java et JavaScript
Traitement des données complexes et intégrations
- Intégrations en temps réel et par streaming
- Travail avec des plateformes big data
- Traitement avancé des fichiers et des API
Gouvernance des données, sécurité et conformité
- Sécurisation des transformations et des informations d'identification
- Lignage et traçabilité des données
- Considérations réglementaires et de conformité
Orchestration et planification en entreprise
- Gestion des grands réseaux de tâches
- Récupération d'erreurs et conception de basculement
- Orchestration au niveau de l'environnement
Référentiel, contrôle de version et CI/CD
- Stratégies de référentiel d'entreprise
- Intégration de PDI avec Git
- Modèles de déploiement continu
Déploiement, surveillance et opérations de production
- Promotion des solutions entre les environnements
- Outils opérationnels et tableaux de bord
- Préparation à la production de bout en bout
Résumé et prochaines étapes
Pré requis
- Une compréhension des pipelines ETL et de la modélisation des données
- De l'expérience avec des transformations PDI de niveau intermédiaire
- De solides compétences en SQL et en scripting
Public cible
- Ingénieurs des données seniors
- Architectes ETL
- Professionnels gérant des charges de travail d'intégration de données complexes
Nos clients témoignent (2)
Très utile car il m'aide à comprendre ce que nous pouvons faire avec les données dans notre contexte. Il m'aidera également à
Nicolas NEMORIN - Adecco Groupe France
Formation - KNIME Analytics Platform for BI
Traduction automatique
C'est une session pratique.
Vorraluck Sarechuer - Total Access Communication Public Company Limited (dtac)
Formation - Talend Open Studio for ESB
Traduction automatique