Formation Sécurité OWASP GenAI

Jour 1 : Fondements et menaces principales

Module 1 : Introduction au projet OWASP GenAI Security Project (1 heure)

Objectifs d'apprentissage :

• Comprendre l'évolution du Top 10 OWASP vers les défis de sécurité spécifiques à la GenAI
• Explorer l'écosystème et les ressources du projet OWASP GenAI Security Project
• Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA

Sujets abordés :

• Présentation de la mission et du périmètre du projet OWASP GenAI Security Project
• Introduction au cadre Threat Defense COMPASS
• Compréhension du paysage de la sécurité IA et des exigences réglementaires
• Surfaces d'attaque IA par rapport aux vulnérabilités des applications Web traditionnelles

Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces

Module 2 : Top 10 OWASP pour les LLM - Partie 1 (2,5 heures)

Objectifs d'apprentissage :

• Maîtriser les cinq vulnérabilités LLM critiques
• Comprendre les vecteurs d'attaque et les techniques d'exploitation
• Appliquer des stratégies d'atténuation pratiques

Sujets abordés :

LLM01 : Injection de prompts

• Techniques d'injection de prompts directes et indirectes
• Attaques par instructions cachées et contamination croisée des prompts
• Exemples pratiques : Contournement des chatbots et des mesures de sécurité
• Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle

LLM02 : Divulgation d'informations sensibles

• Extraction des données d'entraînement et fuite de prompts système
• Analyse du comportement du modèle pour l'exposition d'informations sensibles
• Implications en matière de confidentialité et considérations de conformité réglementaire
• Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données

LLM03 : Vulnérabilités de la chaîne d'approvisionnement

• Dépendances aux modèles tiers et sécurité des plugins
• Jeanes de formation compromises et empoisonnement des modèles
• Évaluation des risques des fournisseurs pour les composants IA
• Bonnes pratiques de déploiement et de vérification des modèles sécurisés

Exercice pratique : Laboratoire pratique démontrant des attaques par injection de prompts contre des applications LLM vulnérables et la mise en œuvre de mesures défensives

Module 3 : Top 10 OWASP pour les LLM - Partie 2 (2 heures)

Sujets abordés :

LLM04 : Empoisonnement des données et des modèles

• Techniques de manipulation des données d'entraînement
• Modification du comportement du modèle par des entrées empoisonnées
• Attaques par portes dérobées et vérification de l'intégrité des données
• Prévention : Pipelines de validation des données, suivi de la provenance

LLM05 : Traitement inapproprié des sorties

• Traitement non sécurisé du contenu généré par les LLM
• Injection de code via les sorties générées par IA
• Scripts entre sites (XSS) via les réponses IA
• Cadres de validation et de sanitisation des sorties

Exercice pratique : Simulation d'attaques par empoisonnement de données et mise en œuvre de mécanismes robustes de validation des sorties

Module 4 : Menaces LLM avancées (1,5 heure)

Sujets abordés :

LLM06 : Excessive Agency (Autonomie excessive)

• Risques liés à la prise de décision autonome et violations de limites
• Autorité et gestion des permissions des agents
• Interactions système non intentionnelles et élévation de privilèges
• Mise en œuvre de garde-fous et de contrôles de supervision humaine

LLM07 : Fuite de prompts système

• Vulnérabilités d'exposition des instructions système
• Divulgation de données d'identification et de logique via les prompts
• Techniques d'attaque pour extraire les prompts système
• Sécurisation des instructions système et de la configuration externe

Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et une surveillance appropriés

Jour 2 : Menaces avancées et mise en œuvre

Module 5 : Menaces IA émergentes (2 heures)

Objectifs d'apprentissage :

• Comprendre les menaces de sécurité IA de pointe
• Mettre en œuvre des techniques avancées de détection et de prévention
• Concevoir des systèmes IA résilients face aux attaques sophistiquées

Sujets abordés :

LLM08 : Faiblesses des vecteurs et des embeddings

• Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
• Empoisonnement des embeddings et attaques de manipulation de similarité
• Exemples adversariaux dans la recherche sémantique
• Sécurisation des magasins de vecteurs et mise en œuvre de la détection d'anomalies

LLM09 : Désinformation et fiabilité des modèles

• Détection et atténuation des hallucinations
• Amplification des biais et considérations d'équité
• Mécanismes de vérification des faits et de validation des sources
• Validation du contenu et intégration de la supervision humaine

LLM10 : Consommation illimitée

• Épuisement des ressources et attaques par déni de service
• Stratégies de limitation de débit et de gestion des ressources
• Optimisation des coûts et contrôles budgétaires
• Systèmes de surveillance des performances et d'alerte

Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations

Module 6 : Sécurité des IA agentiques (2 heures)

Objectifs d'apprentissage :

• Comprendre les défis de sécurité uniques des agents IA autonomes
• Appliquer la taxonomie OWASP Agentic AI à des systèmes réels
• Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents

Sujets abordés :

• Introduction à l'IA agentique et aux systèmes autonomes
• Taxonomie des menaces OWASP Agentic AI : Conception d'agent, Mémoire, Planification, Utilisation d'outils, Déploiement
• Sécurité et risques de coordination des systèmes multi-agents
• Mauvaise utilisation des outils, empoisonnement de la mémoire et attaques de détournement d'objectifs
• Sécurisation de la communication des agents et des processus de prise de décision

Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP Agentic AI sur un système de service client multi-agents

Module 7 : Mise en œuvre de OWASP Threat Defense COMPASS (2 heures)

Objectifs d'apprentissage :

• Maîtriser l'application pratique de Threat Defense COMPASS
• Intégrer l'évaluation des menaces IA aux programmes de sécurité organisationnels
• Développer des stratégies complètes de gestion des risques IA

Sujets abordés :

• Analyse approfondie de la méthodologie Threat Defense COMPASS
• Intégration de la boucle OODA : Observer, Orienter, Décider, Agir
• Cartographie des menaces aux cadres MITRE ATT&CK et ATLAS
• Construction de tableaux de bord de stratégie de résilience face aux menaces IA
• Intégration avec les outils et processus de sécurité existants

Exercice pratique : Évaluation complète des menaces utilisant COMPASS pour un scénario de déploiement de Microsoft Copilot

Module 8 : Mise en œuvre pratique et meilleures pratiques (2,5 heures)

Objectifs d'apprentissage :

• Concevoir des architectures IA sécurisées dès la conception
• Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA
• Créer des cadres de gouvernance pour la sécurité de l'IA

Sujets abordés :

Cycle de vie du développement IA sécurisé :

• Principes de sécurité par conception pour les applications IA
• Pratiques de revue de code pour les intégrations LLM
• Méthodologies de test et analyse de vulnérabilités
• Sécurité du déploiement et durcissement en production

Surveillance et détection :

• Exigences de journalisation et de surveillance spécifiques à l'IA
• Détection d'anomalies pour les systèmes IA
• Procédures de réponse aux incidents pour les événements de sécurité IA
• Techniques de forensique et d'enquête

Gouvernance et conformité :

• Cadres et politiques de gestion des risques IA
• Considérations de conformité réglementaire (RGPD, AI Act, etc.)
• Évaluation des risques des tiers pour les fournisseurs d'IA
• Formation à la sensibilisation à la sécurité pour les équipes de développement IA

Exercice pratique : Conception d'une architecture de sécurité complète pour un chatbot IA d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents

Module 9 : Outils et technologies (1 heure)

Objectifs d'apprentissage :

• Évaluer et mettre en œuvre des outils de sécurité IA
• Comprendre le paysage actuel des solutions de sécurité IA
• Construire des capacités pratiques de détection et de prévention

Sujets abordés :

• Écosystème des outils de sécurité IA et paysage des fournisseurs
• Outils de sécurité open source : Garak, PyRIT, Giskard
• Solutions commerciales pour la sécurité et la surveillance de l'IA
• Modèles d'intégration et stratégies de déploiement
• Critères de sélection d'outils et cadres d'évaluation

Exercice pratique : Démonstration pratique des outils de test de sécurité IA et planification de la mise en œuvre

Module 10 : Tendances futures et conclusion (1 heure)

Objectifs d'apprentissage :

• Comprendre les menaces émergentes et les défis de sécurité futurs
• Développer des stratégies d'apprentissage continu et d'amélioration
• Élaborer des plans d'action pour les programmes de sécurité IA organisationnels

Sujets abordés :

• Mences émergentes : Deepfakes, injection de prompts avancée, inversion de modèle
• Développements futurs et feuille de route du projet OWASP GenAI
• Construction de communautés de sécurité IA et partage des connaissances
• Amélioration continue et intégration de la veille sur les menaces

Exercice de planification d'action : Élaborer un plan d'action de 90 jours pour mettre en œuvre les pratiques de sécurité OWASP GenAI dans les organisations des participants