Cursusaanbod
Introductie
- Overzicht van de uitdagingen op het gebied van deep learning-schaling
- Overzicht van DeepSpeed en zijn functies
- DeepSpeed in vergelijking met andere gedistribueerde deep learning-bibliotheken
Slag
- Opzetten van de ontwikkelomgeving
- PyTorch en DeepSpeed installeren
- DeepSpeed configureren voor gedistribueerde training
Functies voor DeepSpeed-optimalisatie
- DeepSpeed training pijplijn
- ZeRO (geheugen optimalisatie)
- Activering controlepunt
- Gradiënt controlepunten
- Parallellisme van pijpleidingen
Modellen schalen met DeepSpeed
- Basis schalen met DeepSpeed
- Geavanceerde schalingstechnieken
- Prestatieoverwegingen en best practices
- Technieken voor foutopsporing en probleemoplossing
Geavanceerde DeepSpeed-onderwerpen
- Geavanceerde optimalisatietechnieken
- DeepSpeed gebruiken met gemengde precisietraining
- DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
- DeepSpeed met meerdere trainingsknooppunten
DeepSpeed integreren met PyTorch
- DeepSpeed integreren met PyTorch-workflows
- DeepSpeed gebruiken met PyTorch Lightning
Probleemoplossing
- Veelvoorkomende DeepSpeed-problemen debuggen
- Monitoring en logboekregistratie
Samenvatting en volgende stappen
- Samenvatting van de belangrijkste concepten en functies
- Best practices voor het gebruik van DeepSpeed in productie
- Verdere bronnen voor meer informatie over DeepSpeed
Vereisten
- Gemiddelde kennis van deep learning-principes
- Ervaring met PyTorch of vergelijkbare deep learning frameworks
- Bekendheid met Python programmeren
Audiëntie
- Datawetenschappers
- Ingenieurs voor machine learning
- Ontwikkelaars
Getuigenissen (3)
Ik vond het echt leuk hoe we aan het einde de tijd namen om te experimenteren met CHAT GPT. De ruimte was hier niet ideaal voor ingericht - in plaats van één grote tafel zouden een paar kleinere tafels handig geweest zijn, zodat we in kleine groepjes konden brainstormen.
Nola - Laramie County Community College
Cursus - Artificial Intelligence (AI) Overview
Automatisch vertaald
Werken op basis van eerste principes op een gefocuste manier, en overgaan naar het toepassen van casestudies binnen dezelfde dag
Maggie Webb - Department of Jobs, Regions, and Precincts
Cursus - Artificial Neural Networks, Machine Learning, Deep Thinking
Automatisch vertaald
Dat het echte bedrijfsgegevens gebruikte. De trainer had een zeer goede benadering door de deelnemers te laten meedoen en tegen elkaar aan treden
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Cursus - Applied AI from Scratch in Python
Automatisch vertaald