Prenez contact avec nous

Plan du cours

Introduction

  • Vue d'ensemble des défis de l'extension de l'apprentissage profond
  • Vue d'ensemble de DeepSpeed et de ses fonctionnalités
  • DeepSpeed par rapport à d'autres bibliothèques d'apprentissage profond distribué

Premiers pas

  • Configuration de l'environnement de développement
  • Installation de PyTorch et DeepSpeed
  • Configuration de DeepSpeed pour l'entraînement distribué

Fonctionnalités d'optimisation de DeepSpeed

  • Pipeline d'entraînement DeepSpeed
  • ZeRO (optimisation de la mémoire)
  • Checkpointing des activations
  • Checkpointing des gradients
  • Parallelisme de pipeline

Extension des modèles avec DeepSpeed

  • Extension de base avec DeepSpeed
  • Techniques avancées d'extension
  • Considérations de performance et bonnes pratiques
  • Techniques de débogage et de dépannage

Sujets avancés sur DeepSpeed

  • Techniques d'optimisation avancées
  • Utilisation de DeepSpeed avec l'entraînement en précision mixte
  • DeepSpeed sur différents matériels (ex. GPU, TPU)
  • DeepSpeed avec plusieurs nœuds d'entraînement

Intégration de DeepSpeed avec PyTorch

  • Intégration de DeepSpeed dans les flux de travail PyTorch
  • Utilisation de DeepSpeed avec PyTorch Lightning

Dépannage

  • Débogage des problèmes courants de DeepSpeed
  • Surveillance et journalisation

résumé et prochaines étapes

  • Revue des concepts clés et des fonctionnalités
  • Bonnes pratiques pour utiliser DeepSpeed en production
  • Ressources supplémentaires pour en savoir plus sur DeepSpeed

Pré requis

  • Connaissances intermédiaires des principes de l'apprentissage profond
  • Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
  • Connaissance de la programmation Python

Public visé

  • Scientifiques des données
  • Ingénieurs en apprentissage automatique
  • Développeurs
 21 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (3)

Cours à venir

Catégories Similaires