Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Introductie
- Overzicht van de uitdagingen op het gebied van deep learning-schaling
- Overzicht van DeepSpeed en zijn functies
- DeepSpeed in vergelijking met andere gedistribueerde deep learning-bibliotheken
Slag
- Opzetten van de ontwikkelomgeving
- PyTorch en DeepSpeed installeren
- DeepSpeed configureren voor gedistribueerde training
Functies voor DeepSpeed-optimalisatie
- DeepSpeed training pijplijn
- ZeRO (geheugen optimalisatie)
- Activering controlepunt
- Gradiënt controlepunten
- Parallellisme van pijpleidingen
Modellen schalen met DeepSpeed
- Basis schalen met DeepSpeed
- Geavanceerde schalingstechnieken
- Prestatieoverwegingen en best practices
- Technieken voor foutopsporing en probleemoplossing
Geavanceerde DeepSpeed-onderwerpen
- Geavanceerde optimalisatietechnieken
- DeepSpeed gebruiken met gemengde precisietraining
- DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
- DeepSpeed met meerdere trainingsknooppunten
DeepSpeed integreren met PyTorch
- DeepSpeed integreren met PyTorch-workflows
- DeepSpeed gebruiken met PyTorch Lightning
Probleemoplossing
- Veelvoorkomende DeepSpeed-problemen debuggen
- Monitoring en logboekregistratie
Samenvatting en volgende stappen
- Samenvatting van de belangrijkste concepten en functies
- Best practices voor het gebruik van DeepSpeed in productie
- Verdere bronnen voor meer informatie over DeepSpeed
Vereisten
- Gemiddelde kennis van deep learning-principes
- Ervaring met PyTorch of vergelijkbare deep learning frameworks
- Bekendheid met Python programmeren
Audiëntie
- Datawetenschappers
- Ingenieurs voor machine learning
- Ontwikkelaars
21 Uren
Testimonials (2)
Organisatie, in overeenstemming met het voorgestelde programma, het grote kennisgebied van de trainer in dit onderwerp
Ali Kattan - TWPI
Cursus - Natural Language Processing with TensorFlow
Automatisch vertaald
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Cursus - TensorFlow for Image Recognition
Automatisch vertaald