Prenez contact avec nous

Plan du cours

Essentials de l'administration Kafka

  • Où Kafka s'inscrit dans une plateforme de données moderne et les responsabilités de production typiques
  • Concepts clés pour les opérateurs : brokers, topics, partitions, offsets, groupes de consommateurs
  • Fondamentaux de la réplication : leaders et followers, réplicas synchrones, compromis de disponibilité
  • Points saillants opérationnels de Kafka et terminologie courante utilisée dans les procédures d'intervention

Mode KRaft et conception du cluster

  • Les bases de KRaft : contrôleurs, quorum des métadonnées, élections, et pourquoi cela est important opérationnellement
  • Planification du déploiement : dimensionnement pour le débit, les partitions, la rétention et la croissance
  • Rôles des nœuds et dispositions : contrôleurs combinés vs dédiés, considérations sur les domaines de défaillance
  • Atelier : inspecter les métadonnées KRaft, valider la santé du quorum et interpréter les journaux des contrôleurs

Installation, configuration et opérations quotidiennes

  • Approches d'installation (paquets, archive tar, conteneurs) et éléments à standardiser dans les environnements d'entreprise
  • Configuration principale du broker impactant la fiabilité : écouteurs, réplication, répertoires de journaux, rétention
  • Opérations de service sécurisées : ordre de démarrage, arrêt gracieux et vérifications de validation
  • Atelier : déployer un cluster multi-noeud, vérifier l'enregistrement du broker et confirmer la production et la consommation de base

Gestion des topics, des partitions et de l'emplacement des données

  • Cycle de vie des topics via la CLI Kafka : création, description, mise à jour des configurations, suppression
  • Choix des partitions et des facteurs de réplication pour les charges de travail réelles, y compris les anti-modèles courants
  • Rééquilibrage et réallocation : quand déplacer les partitions et comment vérifier la progression en toute sécurité
  • Atelier : créer des topics, déclencher une réallocation de partitions, simuler une panne de broker et confirmer la récupération

Sécurisation de Kafka pour la production

  • TLS pour le trafic client et inter-broker : certificats, chaînes de confiance et étapes de validation
  • Authentification avec SASL : sélection des mécanismes courants et avoidance des erreurs de configuration
  • Autorisation avec les ACL : modèles de moindre privilège pour les administrateurs, producteurs et consommateurs
  • Atelier : activer TLS et SASL, valider la connectivité client et appliquer les ACL pour les rôles d'application

Observabilité, fiabilité et dépannage

  • Essentiels de la surveillance : santé du contrôleur, partitions sous-répliquées, latence des requêtes, saturation disque et réseau
  • Journaux et métriques : lecture des journaux du broker et exposition des métriques via l'exportateur JMX vers des piles d'observabilité courantes
  • Procédures opérationnelles : redémarrages rolling, modifications de configuration sécurisées, gestion des problèmes de disque plein et d'ISR
  • Atelier : créer un ensemble d'alertes minimal, diagnostiquer un cluster dégradé et restaurer une réplication saine

Mises à jour et préparation à la reprise après sinistre

  • Planification des mises à jour pour Kafka : vérifications de compatibilité, étapes progressives et approche de rollback
  • Sauvegardes et attentes en matière de récupération : ce qui peut être sauvegardé, ce qui ne peut pas l'être, et les bases de la récupération de configuration
  • Vue d'ensemble de la réplication inter-cluster et quand utiliser MirrorMaker 2 pour la RAS et les migrations
  • Conclusion : liste de contrôle opérationnelle, artefacts de transmission et prochaines étapes pour le déploiement en production

Pré requis

  • Une compréhension de base de l'administration Linux (utilisateurs, services, fichiers, permissions)
  • De l'expérience avec les concepts de réseau TCP/IP (DNS, ports, pare-feux, équilibreurs de charge)
  • Une expérience de base en scripting (Bash, PowerShell ou similaire) pour les tâches opérationnelles courantes

Public cible

  • Administrateurs Kafka et ingénieurs plateforme responsables de l'exploitation des clusters Kafka
  • Ingénieurs SRE (Site Reliability Engineering) et ingénieurs DevOps supportant les plateformes de streaming
  • Équipes infrastructure et exploitation déployant de nouveaux clusters Kafka basés sur KRaft ou migrant depuis ZooKeeper
 21 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (5)

Cours à venir

Catégories Similaires