Formation Programmation GPU avec CUDA

Introduction

• Qu'est-ce que CUDA ?
• CUDA vs OpenCL vs SYCL
• Aperçu des fonctionnalités et de l'architecture CUDA
• Configuration de l'environnement de développement

Démarrage

• Création d'un nouveau projet CUDA avec Visual Studio Code
• Exploration de la structure du projet et des fichiers
• Compilation et exécution du programme
• Affichage de la sortie à l'aide de printf et fprintf

API CUDA

• Comprendre le rôle de l'API CUDA dans le programme hôte
• Utiliser l'API CUDA pour interroger les informations et capacités du dispositif
• Utiliser l'API CUDA pour allouer et libérer la mémoire du dispositif
• Utiliser l'API CUDA pour copier des données entre hôte et dispositif
• Utiliser l'API CUDA pour lancer des noyaux et synchroniser les threads
• Utiliser l'API CUDA pour gérer les erreurs et les exceptions

CUDA C/C++

• Comprendre le rôle de CUDA C/C++ dans le programme du dispositif
• Utiliser CUDA C/C++ pour écrire des noyaux qui s'exécutent sur le GPU et manipuler les données
• Utiliser les types de données, qualifiants, opérateurs et expressions de CUDA C/C++
• Utiliser les fonctions intégrées de CUDA C/C++, telles que math, atomique, warp, etc.
• Utiliser les variables intégrées de CUDA C/C++, telles que threadIdx, blockIdx, blockDim, etc.
• Utiliser les bibliothèques CUDA C/C++, telles que cuBLAS, cuFFT, cuRAND, etc.

Modèle mémoire CUDA

• Comprendre la différence entre les modèles mémoire hôte et dispositif
• Utiliser les espaces mémoire CUDA, tels que global, partagé, constant et local
• Utiliser les objets mémoire CUDA, tels que pointeurs, tableaux, textures et surfaces
• Utiliser les modes d'accès mémoire CUDA, tels que lecture seule, écriture seule, lecture/écriture, etc.
• Utiliser le modèle de cohérence mémoire CUDA et les mécanismes de synchronisation

Modèle d'exécution CUDA

• Comprendre la différence entre les modèles d'exécution hôte et dispositif
• Utiliser les threads, blocs et grilles CUDA pour définir le parallélisme
• Utiliser les fonctions de thread CUDA, telles que threadIdx, blockIdx, blockDim, etc.
• Utiliser les fonctions de bloc CUDA, telles que __syncthreads, __threadfence_block, etc.
• Utiliser les fonctions de grille CUDA, telles que gridDim, gridSync, groupes coopératifs, etc.

Débogage

• Comprendre les erreurs et bogues courants dans les programmes CUDA
• Utiliser le débogueur Visual Studio Code pour inspecter les variables, points d'arrêt, pile d'appels, etc.
• Utiliser CUDA-GDB pour déboguer les programmes CUDA sur Linux
• Utiliser CUDA-MEMCHECK pour détecter les erreurs et fuites mémoire
• Utiliser NVIDIA Nsight pour déboguer et analyser les programmes CUDA sur Windows

Optimisation

• Comprendre les facteurs affectant les performances des programmes CUDA
• Utiliser les techniques de cohérence CUDA pour améliorer le débit mémoire
• Utiliser les techniques de cache et de prélecture CUDA pour réduire la latence mémoire
• Utiliser les techniques de mémoire partagée et locale CUDA pour optimiser les accès mémoire et la bande passante
• Utiliser le profilage et les outils de profilage CUDA pour mesurer et améliorer le temps d'exécution et l'utilisation des ressources