Formation Traitement efficace des données sur Kubernetes avec PySpark, Pandas et Polars

Module 1 : Fondamentaux du Big Data et de Spark

• Aperçu de l’écosystème du Big Data et du rôle de Spark dans les plateformes de données modernes
• Comprendre l’architecture Spark : driver, exécuteurs, gestionnaire de cluster, évaluation paresseuse, DAG et planification d’exécution
• Différences entre les API RDD et DataFrame et quand utiliser chaque approche
• Création et configuration de SparkSession et compréhension des fondamentaux de la configuration de l’application

Module 2 : DataFrames PySpark

• Lecture et écriture de données à partir de sources et formats d’entreprise : CSV, JSON, Parquet et Delta
• Travail avec les DataFrames PySpark : transformations, actions, expressions de colonnes, filtrage, jointures et agrégations
• Mise en œuvre d’opérations avancées telles que les fonctions de fenêtre, la gestion des horodatages et le travail avec des données imbriquées
• Application de contrôles de qualité des données et écriture de code PySpark réutilisable et maintenable

Module 3 : Fondamentaux de Kubernetes et Docker pour les utilisateurs de Spark

• Comprendre comment les images Docker et les pods Kubernetes sont liés aux processus de driver et d’exécuteur Spark — une vue conceptuelle pour les utilisateurs du cluster, et non pour les administrateurs
• Comprendre ce qui se passe lorsqu’un travail Spark est exécuté sur Kubernetes : planification des pods, demandes et limites de ressources, et comment les paramètres de session s’y rapportent
• Comprendre ce que vous contrôlez via les paramètres de session Spark par rapport à ce que l’équipe plateforme contrôle via le provisioning du cluster — et pourquoi cette frontière est importante pour l’ajustement
• Exercice pratique : Inspecter un travail Spark-on-Kubernetes en cours d’exécution dans le cluster sandbox et identifier les pods driver et exécuteurs

Module 4 : Configuration de session Spark sur Kubernetes — Approfondissement

• Comprendre le nombre d’exécuteurs par rapport à la taille des exécuteurs : compromis entre mémoire et cœurs, et comment raisonner à leur sujet
• Allocation de la mémoire du driver et des exécuteurs, mémoire supplémentaire (overhead), et comment cela se traduit en ressources de pod
• Allocation dynamique : comment elle se comporte sur Kubernetes, quand elle économise des ressources et quand ce n’est pas le cas
• Exercice pratique : Exécuter le même travail avec différentes configurations d’exécuteurs et de cœurs et comparer le temps d’exécution et l’utilisation des ressources

Module 5 : Comportement à l’échelle et optimisation des coûts

• Comprendre comment l’ajout ou la suppression de nœuds modifie le comportement du travail, le temps d’achèvement et la consommation de ressources
• Comparer de nombreux petits exécuteurs à quelques grands : compromis entre performances et coûts
• Comportement du shuffle et réglage des partitions de shuffle, y compris l’estimation de l’impact en termes de coûts des choix de configuration
• Exercice pratique : Passer le cluster sandbox de cinq à dix nœuds et observer l’effet sur le temps d’achèvement du travail et la consommation de ressources

Module 6 : Ingestion efficace des données et partitionnement

• Comprendre le problème des petits fichiers : pourquoi les sources réparties sur de nombreux fichiers Parquet de 1 à 5 Mo dégradent les performances et déforment le partitionnement
• Stratégies de repartitionnement et de coalescence
• Contrôle des tailles de partition à la lecture et à l’écriture
• Écriture efficace de Parquet pour éviter de recréer le problème des petits fichiers en aval
• Exercice pratique : Charger un ensemble de données composé de nombreuses petites partitions Parquet, appliquer différentes stratégies de repartitionnement et comparer les performances avant et après optimisation

Module 7 : Gestion de la mémoire dans Pandas et diagnostic des pannes

• Comprendre les causes racines des erreurs de mémoire insuffisante (out-of-memory) dans Pandas et reconnaître les symptômes
• Application de modèles de conversion économiseurs de mémoire entre Spark et Pandas
• Éviter les surcharges de mémoire lors de l’écriture de grands ensembles de données dans des fichiers CSV
• Utilisation du traitement par blocs (chunking) et de l’optimisation des types de données (dtype) pour les environnements contraints
• Exercice pratique : Reproduire un scénario typique de mémoire insuffisante dans Pandas et le résoudre à l’aide du traitement par blocs et de l’optimisation des types de données

Module 8 : Polars comme outil complémentaire

• Positionnement de Polars par rapport à Pandas : caractéristiques de performance, évaluation paresseuse et comportement de la mémoire
• Comprendre où Polars s’insère aux côtés de PySpark et Pandas dans les piles de données cloud modernes et les roadmaps de migration, y compris les environnements AWS
• Exercice pratique : Réécrire une transformation lourde en Pandas en Polars et comparer l’utilisation de la mémoire et la vitesse de traitement

Module 9 : Application de l’optimisation aux charges de travail ETL et ML

• Application des principes de configuration, de partitionnement et de gestion de la mémoire à un pipeline ETL réaliste
• Comprendre les considérations d’optimisation spécifiques aux charges de travail d’apprentissage automatique exécutées sur le même cluster
• Application d’un processus d’ajustement pratique pour diagnostiquer systématiquement les problèmes de coût et de performances
• Exercice pratique : Finaliser un mini-projet de bout en bout combinant le chargement des données, la transformation et une étape simple d’entraînement de modèle, avec les participants ajustant eux-mêmes la configuration de Spark