Formation Sécurité OWASP GenAI

Jour 1 : Fondamentaux et menaces de base

Module 1 : Introduction au projet OWASP GenAI Security (1 heure)

Objectifs d'apprentissage :

• Comprendre l'évolution depuis l'OWASP Top 10 vers les défis de sécurité spécifiques à l'IA générative.
• Explorer l'écosystème et les ressources du projet OWASP GenAI Security.
• Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA.

Sujets abordés :

• Présentation de la mission et du périmètre du projet OWASP GenAI Security.
• Introduction au framework Threat Defense COMPASS.
• Compréhension du paysage de la sécurité IA et des exigences réglementaires.
• Surfaces d'attaque de l'IA par rapport aux vulnérabilités traditionnelles des applications web.

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces.

Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

• Maîtriser les cinq premières vulnérabilités critiques des LLM.
• Comprendre les vecteurs d'attaque et les techniques d'exploitation.
• Appliquer des stratégies d'atténuation pratiques.

Sujets abordés :

LLM01 : Injection de prompts

• Techniques d'injection de prompts directs et indirects.
• Attaques par instructions cachées et contamination croisée des prompts.
• Exemples pratiques : jailbreaking (contournement) des chatbots et contournement des mesures de sécurité.
• Stratégies de défense : nettoyage des entrées, filtrage des prompts, confidentialité différentielle.

LLM02 : Divulgation d'informations sensibles

• Extraction des données d'entraînement et fuites de prompt système.
• Analyse du comportement du modèle pour exposer les informations sensibles.
• Implications en matière de vie privée et considérations de conformité réglementaire.
• Atténuation : filtrage des sorties, contrôles d'accès, anonymisation des données.

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles tiers et sécurité des plugins.
• Datasets d'entraînement compromis et empoisonnement de modèles.
• Évaluation des risques fournisseurs pour les composants IA.
• Pratiques de déploiement sécurisé de modèles et vérification.

Exercice pratique : Laboratoire pratique démontrant des attaques par injection de prompts contre des applications LLM vulnérables et la mise en œuvre de mesures défensives.

Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement.
• Modification du comportement du modèle via des entrées empoisonnées.
• Attaques par porte dérobée et vérification de l'intégrité des données.
• Prévention : pipelines de validation des données, traçabilité.

LLM05 : Gestion incorrecte des sorties

• Traitement non sécurisé du contenu généré par le LLM.
• Injection de code via les sorties générées par l'IA.
• XSS (Cross-Site Scripting) via les réponses de l'IA.
• Cadres de validation et de nettoyage des sorties.

Exercice pratique : Simulation d'attaques par empoisonnement de données et mise en œuvre de mécanismes robustes de validation des sorties.

Module 4 : Menaces LLM avancées (1,5 heure)

Sujets abordés :

LLM06 : Agence excessive

• Risques liés à la prise de décision autonome et aux violations des limites.
• Gestion des autorisations et des droits des agents.
• Interactions système non souhaitées et élévation de privilèges.
• Mise en œuvre de garde-fous et de contrôles de supervision humaine.

LLM07 : Fuite du prompt système

• Vulnérabilités d'exposition des instructions système.
• Divulgation d'identifiants et de logique via les prompts.
• Techniques d'attaque pour extraire les prompts système.
• Sécurisation des instructions système et de la configuration externe.

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès appropriés et une surveillance.

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces IA émergentes (2 heures)

Objectifs d'apprentissage :

• Comprendre les menaces de pointe en matière de sécurité IA.
• Mettre en œuvre des techniques avancées de détection et de prévention.
• Concevoir des systèmes IA résilients face aux attaques sophistiquées.

Sujets abordés :

LLM08 : Vulnérabilités des vecteurs et des embeddings

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles.
• Empoisonnement des embeddings et attaques par manipulation de similarité.
• Exemples adversariaux dans la recherche sémantique.
• Sécurisation des entrepôts vectoriels et mise en œuvre de la détection d'anomalies.

LLM09 : Désinformation et fiabilité du modèle

• Détection et atténuation des hallucinations.
• Amplification des biais et considérations d'équité.
• Mécanismes de vérification des faits et de vérification des sources.
• Validation du contenu et intégration de la supervision humaine.

LLM10 : Consommation sans limites

• Épuisement des ressources et attaques par déni de service.
• Stratégies de limitation du débit (rate limiting) et de gestion des ressources.
• Optimisation des coûts et contrôles budgétaires.
• Systèmes de surveillance des performances et d'alerte.

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations.

Module 6 : Sécurité de l'IA autonome (Agentic AI) (2 heures)

Objectifs d'apprentissage :

• Comprendre les défis de sécurité uniques des agents IA autonomes.
• Appliquer la taxonomie OWASP Agentic AI à des systèmes réels.
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents.

Sujets abordés :

• Introduction à l'IA autonome et aux systèmes autonomes.
• Taxonomie des menaces OWASP Agentic AI : Conception de l'agent, mémoire, planification, utilisation d'outils, déploiement.
• Sécurité des systèmes multi-agents et risques de coordination.
• Attaques par mauvaise utilisation des outils, empoisonnement de la mémoire et détournement d'objectifs.
• Sécurisation des communications entre agents et des processus de prise de décision.

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP Agentic AI sur un système de service client multi-agents.

Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

• Maîtriser l'application pratique de Threat Defense COMPASS.
• Intégrer l'évaluation des menaces IA dans les programmes de sécurité organisationnels.
• Développer des stratégies complètes de gestion des risques liés à l'IA.

Sujets abordés :

• Plongée profonde dans la méthodologie Threat Defense COMPASS.
• Intégration du cycle OODA : Observer, Orienter, Décider, Agir.
• Cartographie des menaces vers les frameworks MITRE ATT&CK et ATLAS.
• Construction de tableaux de bord pour la stratégie de résilience aux menaces IA.
• Intégration avec les outils et processus de sécurité existants.

Exercice pratique : Évaluation complète des menaces à l'aide de COMPASS pour un scénario de déploiement Microsoft Copilot.

Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)

Objectifs d'apprentissage :

• Concevoir des architectures IA sécurisées dès la conception.
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA.
• Créer des cadres de gouvernance pour la sécurité IA.

Sujets abordés :

Cycle de développement sécurisé de l'IA :

• Principes de « Security by Design » pour les applications IA.
• Pratiques de revue de code pour les intégrations LLM.
• Méthodologies de test et analyse statique/dynamique des vulnérabilités.
• Sécurité du déploiement et durcissement en production.

Surveillance et détection :

• Besoins spécifiques en matière de journalisation et de surveillance pour l'IA.
• Détection d'anomalies pour les systèmes IA.
• Procédures de réponse aux incidents pour les événements de sécurité liés à l'IA.
• Techniques de forensic et d'enquête.

Gouvernance et conformité :

• Cadres et politiques de gestion des risques IA.
• Considérations de conformité réglementaire (RGPD, AI Act, etc.).
• Évaluation des risques tiers pour les fournisseurs d'IA.
• Formation à la sensibilisation à la sécurité pour les équipes de développement IA.

Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot IA d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents.

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

• Évaluer et mettre en œuvre des outils de sécurité IA.
• Comprendre le paysage actuel des solutions de sécurité IA.
• Construire des capacités pratiques de détection et de prévention.

Sujets abordés :

• Écosystème d'outils de sécurité IA et paysage des fournisseurs.
• Outils de sécurité open source : Garak, PyRIT, Giskard.
• Solutions commerciales pour la sécurité et la surveillance de l'IA.
• Modèles d'intégration et stratégies de déploiement.
• Critères de sélection des outils et cadres d'évaluation.

Exercice pratique : Démonstration pratique des outils de test de sécurité IA et planification de la mise en œuvre.

Module 10 : Tendances futures et clôture (1 heure)

Objectifs d'apprentissage :

• Comprendre les menaces émergentes et les défis futurs de la sécurité.
• Développer des stratégies d'apprentissage continu et d'amélioration.
• Élaborer des plans d'action pour les programmes de sécurité IA organisationnels.

Sujets abordés :

• Menaces émergentes : deepfakes, injections de prompts avancées, inversion de modèles.
• Développements futurs du projet OWASP GenAI et feuille de route.
• Construction de communautés de sécurité IA et partage des connaissances.
• Amélioration continue et intégration de la veille technologique en matière de menaces.

Exercice de planification d'action : Élaborer un plan d'action sur 90 jours pour mettre en œuvre les pratiques de sécurité OWASP GenAI au sein des organisations des participants.