Formation Administration de Confluent Apache Kafka

Module 1 : Introduction à l'architecture et à la configuration du cluster Confluent Apache Kafka

• Rôle de Kafka dans les pipelines de données modernes
• Différences entre Apache Kafka et Confluent Kafka
• Composants clés : producteurs, consommateurs, brokers, sujets, partitions
• Modèles de déploiement des clusters Kafka et considérations relatives à la scalabilité

Module 2 : Configuration du quorum Zookeeper

• Qu'est-ce que Zookeeper ?
• Rôle de Zookeeper dans un cluster Kafka
• Taille du quorum Zookeeper
• Configuration de Zookeeper
• Mise en œuvre de SSH sur nos serveurs
• Pratique : configuration de Zookeeper (en tant qu'équipe et en tant que service)
• Utilisation de l'interface en ligne de commande (CLI) de Zookeeper
• Pratique : configuration du quorum Zookeeper
• Système de fichiers interne de Zookeeper
• Facteurs de performance affectant Zookeeper
• Démonstration des outils de gestion pour Zookeeper et Zoonavigator

Module 3 : Configuration du cluster Kafka

• Concepts de base de Kafka
• Configuration de Kafka
• Pratique : configuration du broker Kafka
• Pratique : exécution des commandes Kafka
• Pratique : configuration d'un cluster Kafka Multi-Broker
• Pratique : tests du cluster Kafka
• Comment se connecter à votre cluster Kafka ?
• Configuration de Advertised.listeners : paramètre le plus important
• Configuration des sujets (topics)
• Configuration pour le téléchargement et l'ingestion de messages dans les sujets
• Pratique : démonstration de la résilience de Kafka
• Performance de Kafka : E/S (I/O)
• Performance de Kafka : Réseau (RED)
• Performance de Kafka : RAM
• Performance de Kafka : CPU
• Performance de Kafka : Système d'exploitation (OS)
• Performance de Kafka : Autres facteurs
• Pratique : Comment modifier la configuration du broker Kafka

Module 4 : Configuration avancée de Kafka

• Interface utilisateur de sujet Landoop Kafka, configuration du Confluent REST Proxy et du Confluent Schema Registry
• Envoi et réception de messages (CLI, Java et framework Spring)
• Métriques de surveillance et outils (Confluent Control Center, Elasticsearch, etc.)
• Fichiers journaux et gestion des décalages (offsets)
• Haute disponibilité et reprise après sinistre
• Assurance de la haute disponibilité par la réplication
• Optimisation des performances des producteurs et des consommateurs
• Stratégies de reprise après sinistre
• Contrôle du basculement (failover) et récupération des données
• Configuration des connecteurs
• Mise en œuvre de Kafka Connect
• Fonctions de sécurité de Kafka

Synthèse et étapes suivantes