Plan du cours
Introduction au Red Teaming des Systèmes IA
- Comprendre le paysage des menaces en IA
- Rôles des red teams dans la sécurité de l'IA
- Considérations éthiques et légales
Apprentissage Machine Adversaire
- Types d'attaques : évitement, empoisonnement, extraction, inférence
- Génération d'exemples adverses (par exemple, FGSM, PGD)
- Attaques ciblées vs non ciblées et métriques de succès
Test de la Robustesse des Modèles
- Évaluation de la robustesse sous perturbations
- Exploration des points aveugles et modes de défaillance des modèles
- Test de stress sur les modèles de classification, de vision et NLP
Red Teaming des Pipelines IA
- Périmètre d'attaque des pipelines IA : données, modèle, déploiement
- Exploitation des API et points de terminaison de modèles non sécurisés
- Ingénierie inverse du comportement et des sorties des modèles
Simulation et Outils
- Utilisation de l'Adversarial Robustness Toolbox (ART)
- Red teaming avec des outils comme TextAttack et IBM ART
- Outils de bac à sable, de surveillance et d'observabilité
Stratégie et Collaboration Red Team en IA
- Développement d'exercices et objectifs de red teaming
- Communication des résultats aux équipes blue teams
- Intégration du red teaming dans la gestion des risques en IA
Résumé et Prochaines Étapes
Pré requis
- Une compréhension des architectures d'apprentissage automatique et de l'apprentissage profond
- Une expérience avec Python et les frameworks ML (par exemple, TensorFlow, PyTorch)
- Une familiarité avec les concepts de cybersécurité ou les techniques de sécurité offensive
Public Cible
- Chercheurs en sécurité
- Équipes de sécurité offensive
- Professionnels de l'assurance et du red teaming IA
Nos clients témoignent (2)
J'ai vraiment apprécié d'apprendre sur les attaques par IA et les outils disponibles pour commencer à pratiquer et à utiliser activement pour les tests de sécurité. J'ai acquis beaucoup de connaissances que je n'avais pas au début, et le cours a répondu à mes attentes. Ma partie préférée de la formation était le navigateur Comet, et j'ai été impressionné par ce qu'il pouvait faire. C'est assurément quelque chose que je vais explorer davantage. Globalement, c'était un excellent cours et j'ai beaucoup apprécié d'apprendre le Top 10 OWASP GenAI.
Patrick Collins - Optum
Formation - OWASP GenAI Security
Traduction automatique
Les connaissances professionnelles et la manière dont il les a présentées devant nous
Miroslav Nachev - PUBLIC COURSE
Formation - Cybersecurity in AI Systems
Traduction automatique