Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan du cours
Introduction
- Aperçu des défis liés à la mise à l'échelle de l'apprentissage profond
- Aperçu de DeepSpeed et de ses caractéristiques
- DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond
Pour commencer
- Mise en place de l'environnement de développement
- Installation de PyTorch et de DeepSpeed
- Configuration de DeepSpeed pour l'entraînement distribué
Caractéristiques de l'optimisation DeepSpeed
- Pipeline de formation DeepSpeed
- ZeRO (optimisation de la mémoire)
- Point de contrôle de l'activation
- Point de contrôle du gradient
- Parallélisme du pipeline
Mise à l'échelle des modèles avec DeepSpeed
- Mise à l'échelle de base avec DeepSpeed
- Techniques avancées de mise à l'échelle
- Considérations sur les performances et meilleures pratiques
- Techniques de débogage et de dépannage
Sujets avancés de DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec un entraînement de précision mixte
- DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégrer DeepSpeed à PyTorch
- Intégrer DeepSpeed aux flux de travail PyTorch
- Utiliser DeepSpeed avec PyTorch Lightning
Dépannage
- Débogage des problèmes courants de DeepSpeed
- Surveillance et journalisation
Résumé et prochaines étapes
- Récapitulation des concepts et fonctionnalités clés
- Meilleures pratiques pour l'utilisation de DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissance intermédiaire des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Familiarité avec la programmation Python
Audience
- Data scientists
- Ingénieurs en apprentissage machine
- Développeurs
21 heures