Plan du cours

Introduction à la Développement d'Opérateurs Personalisés

  • Pourquoi construire des opérateurs personnalisés ? Cas d'utilisation et contraintes
  • Structure de runtime CANN et points d'intégration des opérateurs
  • Aperçu de TBE, TIK et TVM dans l'écosystème IA de Huawei

Utilisation de TIK pour les Opérateurs Niveau-Bas Programming

  • Comprendre le modèle de programmation TIK et les API supportées
  • Gestion de la mémoire et stratégie de tiling dans TIK
  • Créer, compiler et enregistrer un opérateur personnalisé avec CANN

Tests et Validation des Opérateurs Personnalisés

  • Tests unitaires et tests d'intégration des opérations dans le graphe
  • Débogage des problèmes de performance au niveau du noyau
  • Visualisation de l'exécution des opérations et du comportement des tampons

Planification et Optimisation Basées sur TVM

  • Aperçu de TVM en tant que compilateur pour les opérations tensorielles
  • Écriture d'un calendrier pour une opération personnalisée dans TVM
  • Calibration, benchmarking et génération de code TVM pour Ascend

Intégration avec les Frameworks et Modèles

  • Enregistrement des opérations personnalisées pour MindSpore et ONNX
  • Vérification de l'intégrité du modèle et du comportement d'annulation
  • Prise en charge des graphes multi-opérations avec précision mixte

Études de Cas et Optimisations Spécialisées

  • Étude de cas : convolution haute efficacité pour petites formes d'entrée
  • Étude de cas : optimisation de l'opérateur attention sensible à la mémoire
  • Meilleures pratiques en déploiement d'opérations personnalisées sur différents appareils

Résumé et Étapes Suivantes

Pré requis

  • Connaissance approfondie des internes des modèles IA et du calcul au niveau des opérateurs
  • Expérience avec les environnements de développement Python et Linux
  • Familiarité avec les compilateurs de réseaux neuronaux ou les optimiseurs au niveau du graphe

Public cible

  • Ingénieurs compilateurs travaillant sur des outils IA
  • Développeurs systèmes axés sur l'optimisation bas niveau de l'IA
  • Développeurs construisant des opérateurs personnalisés ou ciblant des charges de travail AI novatrices
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires