Cursusaanbod

Fundamenten van NiFi en Data Flow

  • Data in beweging vs. data at rest: concepten en uitdagingen
  • NiFi-architectuur: cores, flow controller, provenance en bulletin
  • Belangrijke componenten: processors, verbindingen, controllers en provenance

Groot data-context en -integratie

  • Rol van NiFi in groot data-ecosystemen (Hadoop, Kafka, cloud storage)
  • Overzicht van HDFS, MapReduce en moderne alternatieven
  • Toepassingsgebieden: stream ingestie, log shipping, event pipelines

Installatie, configuratie & cluster setup

  • NiFi installeren in single node- en clustermodus
  • Clusterconfiguratie: node rollen, zookeeper en load balancing
  • NiFi-deployments orkestreren: gebruik van Ansible, Docker of Helm

Dataflows ontwerpen en beheren

  • Routering, filteren, splitsen, samenvoegen van flows
  • Processorconfiguratie (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
  • Schema's verwerken, verrijking en transformatieoperaties uitvoeren
  • Foutafhandeling, retry relaties en backpressure beheren

Integratie-scenario's

  • Verbinding maken met databases, berichtensystemen, REST APIs
  • Data streamen naar analyse-systemen: Kafka, Elasticsearch of cloud storage
  • Integratie met Splunk, Prometheus of logpipelines

Bewaking, herstel & provenance

  • NiFi UI, metrieken en provenance visualizer gebruiken
  • Autonoom herstel en soepel foutafhandeling ontwerpen
  • Backup, flow-versiebeheer en change management

Prestatietuning & optimalisatie

  • JVM, heap, thread pools en clustering parameters afstellen
  • Flow-design optimaliseren om flessenhalzen te voorkomen
  • Hulpbronnisolatie, flow-prioritering en doorvoersnelheidscontrole

Beste praktijken & governance

  • Flow-documentatie, benamingstandaarden, modulaire ontwerpen
  • Beveiliging: TLS, authenticatie, toegangscontrole, gegevensversleuteling
  • Change control, versiebeheer, role-based access en audit trails

Foutopsporing & incidentrespons

  • Vaak voorkomende problemen: deadlocks, geheugenvlekken, processorfouten
  • Loganalyse, foutdiagnostiek en oorsaaksonderzoek
  • Herstelstrategieën en flow-backup

Praktijkopdracht: Realistische data pipeline implementeren

  • Een eind-aan-eind flow bouwen: ingestie, transformatie, levering
  • Foutafhandeling, backpressure en schaling implementeren
  • Prestatietest en de pipeline optimaliseren

Samenvatting en volgende stappen

Vereisten

  • Ervaring met Linux command line
  • Basisbegrip van netwerken en gegevenssystemen
  • Kennis van data streaming of ETL-concepten

Doelgroep

  • Systeembeheerders
  • Data-ingenieurs
  • Ontwikkelaars
  • DevOps-professionals
 21 Uren

Aantal deelnemers


Prijs Per Deelnemer

Getuigenissen (7)

Voorlopige Aankomende Cursussen

Gerelateerde categorieën