Cursusaanbod

Performance Concepten en Metriken

  • Latentie, doorvoersnelheid, energieverbruik, bronnengebruik
  • Systeem- versus modelniveauflessenhalsen
  • Profileren voor inferentie versus training

Profileren op Huawei Ascend

  • Gebruik van CANN Profiler en MindInsight
  • Kernel- en operatordiagnostiek
  • Offloadpatronen en geheugenmapping

Profileren op Biren GPU

  • Prestatiemonitoringfuncties van de Biren SDK
  • Kernelfusie, geheugenafstemming en uitvoerwachtrijen
  • Stroom- en temperatuurbewust profileren

Profileren op Cambricon MLU

  • Prestatietools BANGPy en Neuware
  • Inzicht en loginterpretatie op kernelniveau
  • Integratie van MLU-profiler met inzetkaders

Optimering op Grafiek- en Modelniveau

  • Snoeien en kwantisatiestrategieën voor grafieken
  • Operatorfusie en herstructurering van berekeningsgrafieken
  • Standaardisatie van invoergrootte en batchafstemming

Geheugen- en Kernel-Optimering

  • Optimalisatie van geheugenlayout en -hergebruik
  • Efficiënt bufferbeheer over chipsets
  • Kernel-niveau afstemmingstechnieken per platform

Bestaande Pratices voor Meerdere Platforms

  • Prestatieportabiliteit: abstractiestrategieën
  • Gedeelde afstemmingpijplijnen bouwen voor omgevingen met meerdere chips
  • Voorbeeld: afstemming van een objectdetectiemodel over Ascend, Biren en MLU

Samenvatting en Volgende Stappen

Vereisten

  • Ervaring met AI-modeltraining of deploypipelines
  • Kennis van GPU/MLU-computeprincipes en modeloptimalisatie
  • Basisbekendheid met prestatieprofieltools en metrieken

Doelgroep

  • Prestatie-ingenieurs
  • Machine learning infrastructurteams
  • AI-systeemarchitecten
 21 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën