Course Outline

Invoering

  • Overzicht van uitdagingen op het gebied van deep learning-schaling
  • Overzicht van DeepSpeed en zijn functies
  • DeepSpeed versus andere gedistribueerde deep learning-bibliotheken

Aan de slag

  • Het opzetten van de ontwikkelomgeving
  • PyTorch en DeepSpeed installeren
  • DeepSpeed configureren voor gedistribueerde training

DeepSpeed-optimalisatiefuncties

  • DeepSpeed-trainingspijplijn
  • ZeRO (geheugenoptimalisatie)
  • Activeringscontrolepunten
  • Verloopcontrolepunten
  • Parallellisme in de pijpleiding

Modellen schalen met DeepSpeed

  • Basisschaling met DeepSpeed
  • Geavanceerde schaaltechnieken
  • Prestatieoverwegingen en best practices
  • Debug- en probleemoplossingstechnieken

Geavanceerde DeepSpeed-onderwerpen

  • Geavanceerde optimalisatietechnieken
  • DeepSpeed gebruiken met gemengde precisietraining
  • DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
  • DeepSpeed met meerdere trainingsknooppunten

DeepSpeed integreren met PyTorch

  • Integratie van DeepSpeed met PyTorch-workflows
  • DeepSpeed gebruiken met PyTorch Lightning

Probleemoplossen

  • Veelvoorkomende DeepSpeed-problemen opsporen
  • Monitoren en loggen

Samenvatting en volgende stappen

  • Samenvatting van de belangrijkste concepten en functies
  • Best practices voor het gebruik van DeepSpeed in productie
  • Verdere bronnen om meer te leren over DeepSpeed

Requirements

  • Gemiddelde kennis van deep learning-principes
  • Ervaring met PyTorch of vergelijkbare deep learning-frameworks
  • Kennis van programmeren in Python

Publiek

  • Datawetenschappers
  • Machine learning-ingenieurs
  • Ontwikkelaars
 21 Hours

Number of participants



Price per participant

Related Courses

Advanced Stable Diffusion: Deep Learning for Text-to-Image Generation

21 Hours

Introduction to Stable Diffusion for Text-to-Image Generation

21 Hours

AlphaFold

7 Hours

TensorFlow Lite for Embedded Linux

21 Hours

TensorFlow Lite for Android

21 Hours

TensorFlow Lite for iOS

21 Hours

Tensorflow Lite for Microcontrollers

21 Hours

Deep Learning Neural Networks with Chainer

14 Hours

Distributed Deep Learning with Horovod

7 Hours

Accelerating Deep Learning with FPGA and OpenVINO

35 Hours

Building Deep Learning Models with Apache MXNet

21 Hours

Deep Learning with Keras

21 Hours

Advanced Deep Learning with Keras and Python

14 Hours

Deep Learning for Self Driving Cars

21 Hours

Torch for Machine and Deep Learning

21 Hours

Related Categories

1