Formation PySpark en Louvain

Lors de cette formation en présentiel animée par un formateur à Louvain, les participants découvriront comment utiliser Python et Spark de concert pour analyser les Big Data, à travers des exercices pratiques.

À l'issue de cette formation, les participants seront en mesure de :

• Apprendre à utiliser Spark avec Python pour analyser les Big Data.
• Réaliser des exercices reproduisant des cas concrets du monde réel.
• Utiliser divers outils et techniques pour l'analyse des Big Data au moyen de PySpark.

Cette formation en présentiel ou à distance, encadrée par un formateur, s'adresse aux ingénieurs et analystes des données ainsi qu'aux professionnels souhaitant utiliser Databricks et PySpark pour construire des pipelines de données évolutifs et migrer leurs workflows SQL existants.

Cette formation propose une introduction pratique à la création de flux de traitement de données et de Machine Learning évolutifs à l'aide de PySpark. Les participants apprendront comment Apache Spark s'insère dans les écosystèmes modernes de Big Data et comment traiter efficacement de grands volumes de données en appliquant les principes du calcul distribué.

Cette formation pratique de trois jours se concentre sur la création et l’optimisation de charges de travail de traitement de données efficaces à l’aide de PySpark, Pandas et Polars dans des environnements basés sur Kubernetes.

Les participants développeront une compréhension pratique de l’exécution des applications Spark sur Kubernetes et de la manière dont les décisions de configuration au niveau de l’application influencent les performances, la scalabilité, la consommation des ressources et les coûts. Le cours couvre les principaux domaines d’optimisation, notamment le dimensionnement des exécuteurs, l’allocation de la mémoire, l’allocation dynamique, les stratégies de partitionnement, le comportement du shuffle, les problèmes liés aux petits fichiers et le traitement efficace des fichiers Parquet.

Le cours aborde également les défis courants lors de l’utilisation de Pandas, tels que les limitations de mémoire et les échecs dus à l’insuffisance de mémoire (out-of-memory), et présente Polars comme une alternative haute performance pour certaines charges de travail de traitement de données. Grâce à des exercices pratiques, les participants diagnostiqueront les problèmes de performances et de mémoire, compareront différentes stratégies de configuration et appliqueront des techniques d’optimisation à des scénarios réalistes d’ETL et d’apprentissage automatique.

L’accent est mis tout au long du cours sur la prise de décision pratique : comprendre comment identifier les goulets d’étranglement, choisir l’outil approprié, configurer Spark efficacement et concilier les performances avec la consommation des ressources d’infrastructure et les coûts.