Plan du cours
Fondamentaux de NiFi et des flux de données
- Données en mouvement vs. données au repos : concepts et défis
- Architecture de NiFi : cœurs, contrôleur de flux, provenance et bulletin
- Composants clés : processeurs, connexions, contrôleurs et provenance
Contexte Big Data et intégration
- Rôle de NiFi dans les écosystèmes Big Data (Hadoop, Kafka, stockage cloud)
- Aperçu de HDFS, MapReduce et des alternatives modernes
- Cas d'utilisation : ingestion de flux, envoi de journaux, pipelines d'événements
Installation, configuration et mise en place de clusters
- Installation de NiFi sur un seul nœud et en mode cluster
- Configuration du cluster : rôles des nœuds, Zookeeper et équilibrage de charge
- Orchestration des déploiements NiFi : utilisation d'Ansible, Docker ou Helm
Conception et gestion des flux de données
- Routage, filtrage, division et fusion des flux
- Configuration des processeurs (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Gestion du schéma, de l'enrichissement et des opérations de transformation
- Gestion des erreurs, relations de retry et backpressure
Scénarios d'intégration
- Connexion aux bases de données, systèmes de messagerie et API REST
- Streaming vers des systèmes d'analyse : Kafka, Elasticsearch ou stockage cloud
- Intégration avec Splunk, Prometheus ou pipelines de journalisation
Surveillance, récupération et provenance
- Utilisation de l'interface utilisateur NiFi, des métriques et du visualiseur de provenance
- Conception d'une récupération autonome et d'une gestion gracieuse des échecs
- Sauvegarde, versioning des flux et gestion des modifications
Ajustement et optimisation des performances
- Ajustement du JVM, de la mémoire heap, des pools de threads et des paramètres de clustering
- Optimisation de la conception des flux pour réduire les goulots d'étranglement
- Isolation des ressources, priorisation des flux et contrôle du débit
Bonnes pratiques et gouvernance
- Documentation des flux, normes de dénomination, conception modulaire
- Sécurité : TLS, authentification, contrôle d'accès, chiffrement des données
- Contrôle des modifications, versioning, accès basé sur les rôles, journaux d'audit
Résolution des problèmes et réponse aux incidents
- Problèmes courants : interblocages, fuites de mémoire, erreurs de processeur
- Analyse des journaux, diagnostic des erreurs et investigation des causes racines
- Stratégies de récupération et annulation des flux
Atelier pratique : mise en œuvre réaliste d'un pipeline de données
- Création d'un flux de bout en bout : ingestion, transformation, livraison
- Mise en œuvre de la gestion des erreurs, du backpressure et de la mise à l'échelle
- Tests de performance et ajustement du pipeline
Résumé et prochaines étapes
Pré requis
- Expérience de la ligne de commande Linux
- Connaissance de base des réseaux et des systèmes de données
- Familiarité avec les concepts de streaming de données ou d'ETL
Audience
- Administrateurs système
- Ingénieurs de données
- Développeurs
- Professionnels DevOps
Nos clients témoignent (7)
Exercices pratiques. La formation aurait dû durer 5 jours, mais les 3 jours ont permis de clarifier beaucoup de questions que je me posais déjà en travaillant avec NiFi.
James - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
J'ai trouvé que le rythme du formateur était bon. Il n'a laissé aucun étudiant derrière lui avec sa méthode. Il a été très soutenant envers nous, les NOUVEAUX, qui n'avions peut-être pas eu de rôle d'Administrateur Système ou d'Infrastructures au cours de notre carrière, ou qui avions rafraîchi ces compétences à partir d'une période antérieure de notre carrière.
Pamdrea Ivory - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
J'aime la partie pratique. Elle m'a aidé à mieux retenir les informations en effectuant les exercices proposés. De plus, la capacité de l'animateur à interagir avec toute la classe m'a mis à l'aise pour poser des questions sur ce dont je n'étais pas sûr.
Leila - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
Cas d'utilisation et exemples de construction de flux de données NiFi. Nous avons travaillé sur la résolution des problèmes courants et des pièges à éviter.
Nelson - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
J'ai adoré la structure. Le premier jour, nous avons abordé les bases de NiFi, ses concepts et ses cas d'utilisation. Le deuxième jour, nous avons mis en pratique les connaissances acquises le premier jour en construisant des flux pour répondre aux exigences des scénarios. Le troisième jour, nous avons découvert NiFi Registry, le contrôle de version, la multilocataire et nous avons fait une session de questions-réponses.
Adam - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
J'aime la façon dont il a pu développer les aspects de NiFi et sa puissance. On peut essentiellement l'utiliser pour toute infrastructure et avec de nombreux langages de programmation différents. Je suis également ravi que nous ayons réussi à résoudre le problème de renouvellement du certificat NiFi que nous avions avec la Truststore.
Joachim Martin - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
connaissances générales et les possibilités que propose la formation en termes d'outil.
Nalfis Tobar - BHG Financial
Formation - Apache NiFi for Administrators
Traduction automatique
