Plan du cours
Jour 1 : Fondamentaux et menaces principales
Module 1 : Introduction au projet OWASP GenAI Security (1 heure)
Objectifs d'apprentissage :
- Comprendre l'évolution de l'OWASP Top 10 vers les défis de sécurité spécifiques à l'IA générative
- Explorer l'écosystème et les ressources du projet OWASP GenAI Security
- Identifier les différences clés entre la sécurité des applications traditionnelles et la sécurité de l'IA
Sujets traités :
- Aperçu de la mission et du périmètre du projet OWASP GenAI Security
- Introduction au cadre Threat Defense COMPASS
- Compréhension du paysage de la sécurité IA et des exigences réglementaires
- Les surfaces d'attaque de l'IA par rapport aux vulnérabilités des applications web traditionnelles
Exercice pratique : Configuration de l'outil OWASP Threat Defense COMPASS et réalisation d'une évaluation initiale des menaces
Module 2 : OWASP Top 10 pour les LLM - Partie 1 (2,5 heures)
Objectifs d'apprentissage :
- Maîtriser les cinq premières vulnérabilités critiques des LLM
- Comprendre les vecteurs d'attaque et les techniques d'exploitation
- Appliquer des stratégies d'atténuation pratiques
Sujets traités :
LLM01 : Injection de prompts
- Techniques d'injection de prompts directs et indirects
- Attaques par instructions cachées et contamination croisée des prompts
- Exemples pratiques : Contournement des chatbots et contournement des mesures de sécurité
- Stratégies de défense : Sanitisation des entrées, filtrage des prompts, confidentialité différentielle
LLM02 : Divulgation d'informations sensibles
- Extraction des données d'entraînement et fuite des invites système
- Analyse du comportement du modèle pour l'exposition d'informations sensibles
- Implications en matière de confidentialité et considérations de conformité réglementaire
- Atténuation : Filtrage des sorties, contrôles d'accès, anonymisation des données
LLM03 : Vulnérabilités de la chaîne d'approvisionnement
- Dépendances aux modèles tiers et sécurité des plugins
- Ensembles de données d'entraînement compromis et empoisonnement de modèles
- Évaluation des risques des fournisseurs pour les composants IA
- Pratiques de déploiement sécurisé des modèles et vérification
Exercice pratique : Atelier pratique démontrant des attaques par injection de prompts contre des applications LLM vulnérables et mise en œuvre de mesures de défense
Module 3 : OWASP Top 10 pour les LLM - Partie 2 (2 heures)
Sujets traités :
LLM04 : Empoisonnement des données et des modèles
- Techniques de manipulation des données d'entraînement
- Modification du comportement du modèle via des entrées empoisonnées
- Attaques par porte dérobée et vérification de l'intégrité des données
- Prévention : Pipelines de validation des données, traçabilité des provenances
LLM05 : Gestion inappropriée des sorties
- Traitement non sécurisé du contenu généré par le LLM
- Injection de code via des sorties générées par l'IA
- Faille XSS (Cross-Site Scripting) via les réponses de l'IA
- Cadres de validation et de sanitisation des sorties
Exercice pratique : Simulation d'attaques par empoisonnement des données et mise en œuvre de mécanismes robustes de validation des sorties
Module 4 : Menaces avancées des LLM (1,5 heure)
Sujets traités :
LLM06 : Agentie excessive
- Risques de prise de décision autonome et violation des limites
- Gestion des autorisations et des permissions des agents
- Interactions système involontaires et escalade de privilèges
- Mise en œuvre de garde-fous et de contrôles de supervision humaine
LLM07 : Fuite des invites système
- Vulnérabilités liées à l'exposition des instructions système
- Divulgation d'identifiants et de logique par les prompts
- Techniques d'attaque pour extraire les invites système
- Sécurisation des instructions système et de la configuration externe
Exercice pratique : Conception d'architectures d'agents sécurisées avec des contrôles d'accès et une surveillance appropriés
Jour 2 : Menaces avancées et mise en œuvre
Module 5 : Menaces émergentes de l'IA (2 heures)
Objectifs d'apprentissage :
- Comprendre les menaces de sécurité IA de pointe
- Mettre en œuvre des techniques avancées de détection et de prévention
- Concevoir des systèmes IA résilients face aux attaques sophistiquées
Sujets traités :
LLM08 : Faiblesses vectorielles et des embeddings
- Vulnérabilités des systèmes RAG et sécurité des bases de données vectorielles
- Empoisonnement des embeddings et attaques par manipulation de similarité
- Exemples adversariaux dans la recherche sémantique
- Sécurisation des stocks vectoriels et mise en œuvre de la détection d'anomalies
LLM09 : Désinformation et fiabilité du modèle
- Détection et atténuation des hallucinations
- Amplification des biais et considérations d'équité
- Mécanismes de vérification des faits et de vérification des sources
- Validation du contenu et intégration de la supervision humaine
LLM10 : Consommation non bornée
- Épuisement des ressources et attaques par déni de service
- Limitation du débit et stratégies de gestion des ressources
- Optimisation des coûts et contrôles budgétaires
- Systèmes de surveillance des performances et d'alerte
Exercice pratique : Construction d'un pipeline RAG sécurisé avec protection de la base de données vectorielle et détection des hallucinations
Module 6 : Sécurité de l'IA agentic (2 heures)
Objectifs d'apprentissage :
- Comprendre les défis de sécurité uniques des agents IA autonomes
- Appliquer la taxonomie OWASP de l'IA agentic aux systèmes réels
- Mettre en œuvre des contrôles de sécurité pour les environnements multi-agents
Sujets traités :
- Introduction à l'IA agentic et aux systèmes autonomes
- Taxonomie des menaces OWASP pour l'IA agentic : Conception de l'agent, mémoire, planification, utilisation d'outils, déploiement
- Sécurité des systèmes multi-agents et risques de coordination
- Attaques par détournement d'outils, empoisonnement de la mémoire et prise de contrôle des objectifs
- Sécurisation de la communication des agents et des processus de prise de décision
Exercice pratique : Exercice de modélisation des menaces utilisant la taxonomie OWASP de l'IA agentic sur un système de service client multi-agents
Module 7 : Mise en œuvre d'OWASP Threat Defense COMPASS (2 heures)
Objectifs d'apprentissage :
- Maîtriser l'application pratique de Threat Defense COMPASS
- Intégrer l'évaluation des menaces IA dans les programmes de sécurité organisationnels
- Développer des stratégies complètes de gestion des risques IA
Sujets traités :
- Étude approfondie de la méthodologie Threat Defense COMPASS
- Intégration de la boucle OODA : Observer, Orienter, Décider, Agir
- Cartographie des menaces vers les cadres MITRE ATT&CK et ATLAS
- Création de tableaux de bord de stratégie de résilience aux menaces IA
- Intégration avec les outils et processus de sécurité existants
Exercice pratique : Évaluation complète des menaces utilisant COMPASS pour un scénario de déploiement de Microsoft Copilot
Module 8 : Mise en œuvre pratique et bonnes pratiques (2,5 heures)
Objectifs d'apprentissage :
- Concevoir des architectures IA sécurisées dès la conception
- Mettre en œuvre la surveillance et la réponse aux incidents pour les systèmes IA
- Créer des cadres de gouvernance pour la sécurité IA
Sujets traités :
Cycle de vie du développement d'IA sécurisé :
- Principes de sécurité par conception pour les applications IA
- Pratiques de revue de code pour les intégrations LLM
- Méthodologies de test et scan de vulnérabilités
- Sécurité du déploiement et durcissement en production
Surveillance et détection :
- Exigences de journalisation et de surveillance spécifiques à l'IA
- Détection d'anomalies pour les systèmes IA
- Procédures de réponse aux incidents pour les événements de sécurité IA
- Techniques de forensic et d'investigation
Gouvernance et conformité :
- Cadres et politiques de gestion des risques IA
- Considérations de conformité réglementaire (RGPD, AI Act, etc.)
- Évaluation des risques tiers pour les fournisseurs d'IA
- Formation à la sensibilisation à la sécurité pour les équipes de développement IA
Exercice pratique : Concevoir une architecture de sécurité complète pour un chatbot IA d'entreprise, incluant la surveillance, la gouvernance et les procédures de réponse aux incidents
Module 9 : Outils et technologies (1 heure)
Objectifs d'apprentissage :
- Évaluer et mettre en œuvre des outils de sécurité IA
- Comprendre le paysage actuel des solutions de sécurité IA
- Développer des capacités pratiques de détection et de prévention
Sujets traités :
- Écosystème des outils de sécurité IA et paysage des fournisseurs
- Outils de sécurité open source : Garak, PyRIT, Giskard
- Solutions commerciales pour la sécurité et la surveillance IA
- Modèles d'intégration et stratégies de déploiement
- Critères de sélection des outils et cadres d'évaluation
Exercice pratique : Démonstration pratique des outils de test de sécurité IA et planification de la mise en œuvre
Module 10 : Tendances futures et bilan (1 heure)
Objectifs d'apprentissage :
- Comprendre les menaces émergentes et les futurs défis de sécurité
- Développer des stratégies d'apprentissage continu et d'amélioration
- Créer des plans d'action pour les programmes de sécurité IA organisationnels
Sujets traités :
- Menaces émergentes : Deepfakes, injection de prompts avancée, inversion de modèle
- Développements futurs du projet OWASP GenAI et feuille de route
- Construction de communautés de sécurité IA et partage des connaissances
- Amélioration continue et intégration du renseignement sur les menaces
Exercice de planification d'action : Développer un plan d'action à 90 jours pour la mise en œuvre des pratiques de sécurité OWASP GenAI dans les organisations des participants
Pré requis
- Compréhension générale des principes de sécurité des applications web
- Connaissance de base des concepts d'IA/ML
- Expérience avec des cadres de sécurité ou des méthodologies d'évaluation des risques est un atout
Public cible
- Professionnels de la cybersécurité
- Développeurs IA
- Architectes systèmes
- Officiers de conformité
- Professionnels de la sécurité
Nos clients témoignent (1)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique