Plan du cours
Introduction
- Vue d'ensemble des défis de l'extension de l'apprentissage profond
- Vue d'ensemble de DeepSpeed et de ses fonctionnalités
- DeepSpeed par rapport à d'autres bibliothèques d'apprentissage profond distribué
Premiers pas
- Configuration de l'environnement de développement
- Installation de PyTorch et DeepSpeed
- Configuration de DeepSpeed pour l'entraînement distribué
Fonctionnalités d'optimisation de DeepSpeed
- Pipeline d'entraînement DeepSpeed
- ZeRO (optimisation de la mémoire)
- Checkpointing des activations
- Checkpointing des gradients
- Parallelisme de pipeline
Extension des modèles avec DeepSpeed
- Extension de base avec DeepSpeed
- Techniques avancées d'extension
- Considérations de performance et bonnes pratiques
- Techniques de débogage et de dépannage
Sujets avancés sur DeepSpeed
- Techniques d'optimisation avancées
- Utilisation de DeepSpeed avec l'entraînement en précision mixte
- DeepSpeed sur différents matériels (ex. GPU, TPU)
- DeepSpeed avec plusieurs nœuds d'entraînement
Intégration de DeepSpeed avec PyTorch
- Intégration de DeepSpeed dans les flux de travail PyTorch
- Utilisation de DeepSpeed avec PyTorch Lightning
Dépannage
- Débogage des problèmes courants de DeepSpeed
- Surveillance et journalisation
résumé et prochaines étapes
- Revue des concepts clés et des fonctionnalités
- Bonnes pratiques pour utiliser DeepSpeed en production
- Ressources supplémentaires pour en savoir plus sur DeepSpeed
Pré requis
- Connaissances intermédiaires des principes de l'apprentissage profond
- Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
- Connaissance de la programmation Python
Public visé
- Scientifiques des données
- Ingénieurs en apprentissage automatique
- Développeurs
Nos clients témoignent (3)
J'ai vraiment aimé la fin où nous avons pris le temps de jouer avec CHAT GPT. La salle n'était pas très bien organisée pour cela - au lieu d'une grande table, quelques petites tables auraient été préférables afin que nous puissions travailler en petits groupes et brainstormer.
Nola - Laramie County Community College
Formation - Artificial Intelligence (AI) Overview
Traduction automatique
Travailler à partir des principes fondamentaux de manière concentrée, puis passer à l'application d'études de cas le même jour
Maggie Webb - Department of Jobs, Regions, and Precincts
Formation - Artificial Neural Networks, Machine Learning, Deep Thinking
Traduction automatique
Qu'il utilisait des données réelles d'entreprise. Le formateur avait une très bonne approche en faisant participer et concourir les stagiaires
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Formation - Applied AI from Scratch in Python
Traduction automatique