Prenez contact avec nous

Plan du cours

Concepts et métriques de performance

  • Latence, débit, consommation d'énergie, utilisation des ressources
  • Goulots d'étranglement au niveau système vs niveau modèle
  • Profilage pour l'inférence vs l'entraînement

Profilage sur Huawei Ascend

  • Utilisation de CANN Profiler et MindInsight
  • Diagnostic des noyaux et des opérateurs
  • Patterns de déchargement et cartographie de la mémoire

Profilage sur GPU Biren

  • Fonctionnalités de surveillance des performances du SDK Biren
  • Fusion de noyaux, alignement de la mémoire et files d'exécution
  • Profilage conscient de la puissance et de la température

Profilage sur MLU Cambricon

  • Outils de performance BANGPy et Neuware
  • Visibilité au niveau noyau et interprétation des journaux
  • Intégration du profileur MLU avec les frameworks de déploiement

Optimisation au niveau graphe et modèle

  • Stratégies d'élagage de graphe et de quantification
  • Fusion des opérateurs et restructuration du graphe de calcul
  • Normalisation de la taille des entrées et réglage par lots (batch)

Optimisation mémoire et noyau

  • Optimisation de la disposition et de la réutilisation de la mémoire
  • Gestion efficace des tampons sur les différents chipsets
  • Techniques de réglage au niveau noyau par plate-forme

Meilleures pratiques inter-plates-formes

  • Portabilité des performances : stratégies d'abstraction
  • Construction de pipelines de réglage partagés pour des environnements multi-puces
  • Exemple : réglage d'un modèle de détection d'objets sur Ascend, Biren et MLU

Conclusion et prochaines étapes

Pré requis

  • Expérience de travail avec des pipelines d'entraînement ou de déploiement de modèles d'IA
  • Compréhension des principes de calcul GPU/MLU et de l'optimisation de modèles
  • Connaissance de base des outils et métriques de profilage de performance

Public visé

  • Ingénieurs en performance
  • Équipes d'infrastructure d'apprentissage automatique
  • Architectes de systèmes d'IA
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires