Plan du cours
Essentials de l'administration Kafka
- Où Kafka s'inscrit dans une plateforme de données moderne et les responsabilités de production typiques
- Concepts clés pour les opérateurs : brokers, topics, partitions, offsets, groupes de consommateurs
- Fondamentaux de la réplication : leaders et followers, réplicas synchrones, compromis de disponibilité
- Points saillants opérationnels de Kafka et terminologie courante utilisée dans les procédures d'intervention
Mode KRaft et conception du cluster
- Les bases de KRaft : contrôleurs, quorum des métadonnées, élections, et pourquoi cela est important opérationnellement
- Planification du déploiement : dimensionnement pour le débit, les partitions, la rétention et la croissance
- Rôles des nœuds et dispositions : contrôleurs combinés vs dédiés, considérations sur les domaines de défaillance
- Atelier : inspecter les métadonnées KRaft, valider la santé du quorum et interpréter les journaux des contrôleurs
Installation, configuration et opérations quotidiennes
- Approches d'installation (paquets, archive tar, conteneurs) et éléments à standardiser dans les environnements d'entreprise
- Configuration principale du broker impactant la fiabilité : écouteurs, réplication, répertoires de journaux, rétention
- Opérations de service sécurisées : ordre de démarrage, arrêt gracieux et vérifications de validation
- Atelier : déployer un cluster multi-noeud, vérifier l'enregistrement du broker et confirmer la production et la consommation de base
Gestion des topics, des partitions et de l'emplacement des données
- Cycle de vie des topics via la CLI Kafka : création, description, mise à jour des configurations, suppression
- Choix des partitions et des facteurs de réplication pour les charges de travail réelles, y compris les anti-modèles courants
- Rééquilibrage et réallocation : quand déplacer les partitions et comment vérifier la progression en toute sécurité
- Atelier : créer des topics, déclencher une réallocation de partitions, simuler une panne de broker et confirmer la récupération
Sécurisation de Kafka pour la production
- TLS pour le trafic client et inter-broker : certificats, chaînes de confiance et étapes de validation
- Authentification avec SASL : sélection des mécanismes courants et avoidance des erreurs de configuration
- Autorisation avec les ACL : modèles de moindre privilège pour les administrateurs, producteurs et consommateurs
- Atelier : activer TLS et SASL, valider la connectivité client et appliquer les ACL pour les rôles d'application
Observabilité, fiabilité et dépannage
- Essentiels de la surveillance : santé du contrôleur, partitions sous-répliquées, latence des requêtes, saturation disque et réseau
- Journaux et métriques : lecture des journaux du broker et exposition des métriques via l'exportateur JMX vers des piles d'observabilité courantes
- Procédures opérationnelles : redémarrages rolling, modifications de configuration sécurisées, gestion des problèmes de disque plein et d'ISR
- Atelier : créer un ensemble d'alertes minimal, diagnostiquer un cluster dégradé et restaurer une réplication saine
Mises à jour et préparation à la reprise après sinistre
- Planification des mises à jour pour Kafka : vérifications de compatibilité, étapes progressives et approche de rollback
- Sauvegardes et attentes en matière de récupération : ce qui peut être sauvegardé, ce qui ne peut pas l'être, et les bases de la récupération de configuration
- Vue d'ensemble de la réplication inter-cluster et quand utiliser MirrorMaker 2 pour la RAS et les migrations
- Conclusion : liste de contrôle opérationnelle, artefacts de transmission et prochaines étapes pour le déploiement en production
Pré requis
- Une compréhension de base de l'administration Linux (utilisateurs, services, fichiers, permissions)
- De l'expérience avec les concepts de réseau TCP/IP (DNS, ports, pare-feux, équilibreurs de charge)
- Une expérience de base en scripting (Bash, PowerShell ou similaire) pour les tâches opérationnelles courantes
Public cible
- Administrateurs Kafka et ingénieurs plateforme responsables de l'exploitation des clusters Kafka
- Ingénieurs SRE (Site Reliability Engineering) et ingénieurs DevOps supportant les plateformes de streaming
- Équipes infrastructure et exploitation déployant de nouveaux clusters Kafka basés sur KRaft ou migrant depuis ZooKeeper
Nos clients témoignent (5)
Possibilité d'effectuer des exercices indépendants dans l'environnement de formation.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Formation - Kafka for Administrators
Traduction automatique
Concis et rythmé (nécessite toutefois des bases de bash)
Krzysztof - Agora SA
Formation - Kafka for Administrators
Traduction automatique
Le formateur accepte les questions à tout moment de la session, même si le sujet a été abordé il y a quelques jours.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Formation - Kafka for Administrators
Traduction automatique
Bonne compétence en présentation
Md Maruf Hossain - ATOS PGS sp. z o.o.
Formation - Kafka for Administrators
Traduction automatique
Compétences exceptionnelles, exemples pertinents, très bons exercices
Marek Konieczny - G2A.COM Limited
Formation - Kafka for Administrators
Traduction automatique