Prenez contact avec nous

Plan du cours

Introduction au développement d'opérateurs personnalisés

  • Pourquoi créer des opérateurs personnalisés ? Cas d'utilisation et contraintes.
  • Structure du runtime CANN et points d'intégration des opérateurs.
  • Aperçu de TBE, TIK et TVM dans l'écosystème Huawei IA.

Utilisation de TIK pour la programmation d'opérateurs bas niveau

  • Compréhension du modèle de programmation TIK et des API prises en charge.
  • Gestion de la mémoire et stratégie de tuilage dans TIK.
  • Création, compilation et enregistrement d'un opérateur personnalisé avec CANN.

Tests et validation des opérateurs personnalisés

  • Tests unitaires et tests d'intégration des opérateurs dans le graphique.
  • Débogage des problèmes de performance au niveau du noyau.
  • Visualisation de l'exécution de l'opérateur et du comportement des tampons.

Ordonnancement et optimisation basés sur TVM

  • Aperçu de TVM en tant que compilateur pour les opérateurs tensoriels.
  • Écriture d'un ordonnancement pour un opérateur personnalisé dans TVM.
  • Réglage, évaluation des performances et génération de code TVM pour Ascend.

Intégration avec les frameworks et les modèles

  • Enregistrement des opérateurs personnalisés pour MindSpore et ONNX.
  • Vérification de l'intégrité du modèle et du comportement de repli (fallback).
  • Prise en charge des graphiques multi-opérateurs avec précision mixte.

Études de cas et optimisations spécialisées

  • Étude de cas : convolution haute efficacité pour de petits formats d'entrée.
  • Étude de cas : optimisation d'opérateurs d'attention consciente de la mémoire.
  • Bon pratiques de déploiement des opérateurs personnalisés sur différents appareils.

Résumé et prochaines étapes

Pré requis

  • Connaissances solides du fonctionnement interne des modèles IA et du calcul au niveau des opérateurs.
  • Expérience avec les environnements de développement Python et Linux.
  • Familiarité avec les compilateurs de réseaux de neurones ou les optimiseurs au niveau du graphique.

Audience cible

  • Ingénieurs compilateurs travaillant sur des toolchains IA.
  • Développeurs systèmes spécialisés dans l'optimisation bas niveau de l'IA.
  • Développeurs créant des opérateurs personnalisés ou ciblant des charges de travail IA novatrices.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires