Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Concepts et métriques de performance
- Latence, débit, consommation d'énergie, utilisation des ressources
- Goulots d'étranglement au niveau système vs modèle
- Profiling pour la déduction vs l'entraînement
Profiling sur Huawei Ascend
- Utilisation de CANN Profiler et MindInsight
- Diagnostics de noyaux et d'opérateurs
- Modèles de délégation (offload) et mappage mémoire
Profiling sur Biren GPU
- Fonctions de surveillance des performances du SDK Biren
- Fusion de noyaux, alignement mémoire et files d'exécution
- Profiling tenant compte de la consommation d'énergie et de la température
Profiling sur Cambricon MLU
- Outils de performance BANGPy et Neuware
- Visibilité au niveau du noyau et interprétation des journaux
- Intégration du profiler MLU avec les frameworks de déploiement
Optimisation au niveau du graphe et du modèle
- Stratégies d'élagage et de quantification du graphe
- Fusion d'opérateurs et restructuration du graphe de calcul
- Standardisation des tailles d'entrée et ajustement des lots (batch tuning)
Optimisation mémoire et des noyaux
- Optimisation de la disposition et de la réutilisation de la mémoire
- Gestion efficace des tampons (buffers) sur les différents jeux de puces
- Techniques d'ajustement au niveau du noyau par plateforme
Bonnes pratiques inter-plateformes
- Portabilité des performances : stratégies d'abstraction
- Création de pipelines de réglage partagés pour les environnements multi-puces
- Exemple : réglage d'un modèle de détection d'objets sur Ascend, Biren et MLU
Synthèse et prochaines étapes
Pré requis
- Expérience dans le travail avec des pipelines d'entraînement ou de déploiement de modèles IA
- Compréhension des principes de calcul GPU/MLU et de l'optimisation des modèles
- Familiarité de base avec les outils et les métriques de profiling de performance
Public cible
- Ingénieurs en performance
- Équipes d'infrastructure pour le machine learning
- Architectes de systèmes IA
21 Heures
