Cursusaanbod
Dag 1: Fundamenten en Kernbedreigingen
Module 1: Introductie tot het OWASP GenAI Security Project (1 uur)
Lerendoelen:
- Inzicht krijgen in de evolutie van OWASP Top 10 naar GenAI-specifieke beveiligingsuitdagingen
- Kennismaken met het OWASP GenAI Security Project-ecosysteem en -resources
- De belangrijkste verschillen tussen traditionele toepassingsbeveiliging en AI-beveiliging identificeren
Onderwerpen:
- Overzicht van de missie en het bereik van het OWASP GenAI Security Project
- Introductie tot de Threat Defense COMPASS-framework
- Begrijpen van het AI-beveiligingssite en regelgevende vereisten
- Vergelijking van AI-aanvalsoppervlakken met traditionele webtoepassingskwetsbaarheden
Praktische Oefening: Het OWASP Threat Defense COMPASS-hulpmiddel instellen en een initiële bedreigingsanalyse uitvoeren
Module 2: OWASP Top 10 voor LLM's - Deel 1 (2,5 uur)
Lerendoelen:
- De eerste vijf cruciale LLM-kwetsbaarheden beheersen
- Aanvalsvectoren en exploitatie-technieken begrijpen
- Praktische mitigatiestrategieën toepassen
Onderwerpen:
LLM01: Prompt Injectie
- Directe en indirecte prompt injectietecnieken
- Hidden instruction attacks en cross-prompt contamination
- Praktische voorbeelden: Jailbreaking chatbots en omzeilen van veiligheidsmaatregelen
- Verdedigingsstrategieën: Input-sanitatie, prompt-filtering, differentiële privacy
LLM02: Sensgevoelige Informatiedisclosure
- Trainingdata-extractie en systeempromptlekken
- Modelgedraganalyse voor sensgevoelige informatieblootstelling
- Privacyimplicaties en regelgevende overwegingen
- Mitigatie: Output-filtering, toegangscontroles, dataanonymisering
LLM03: Supply Chain Kwetsbaarheden
- Derde-partymodelafhankelijkheid en plugin-beveiliging
- Gecompromitteerde trainingdatasets en modelvergiftiging
- Vendorrisicobeoordeling voor AI-componenten
- Veilige modelimplementatie en verificatiepraktijken
Praktische Oefening: Hands-on labo waar prompt injectieaanvallen tegen kwetsbare LLM-toepassingen worden gedemonstreerd en defensieve maatregelen worden geïmplementeerd
Module 3: OWASP Top 10 voor LLM's - Deel 2 (2 uur)
Onderwerpen:
LLM04: Data en Model Vergiftiging
- Trainingdata-manipulatietechnieken
- Modelgedrag aanpassen door vergiftigde invoeren
- Backdoor-aanvallen en data-integriteitsverificatie
- Voorkomen: Data-validatiepipelines, oorsprongstracking
LLM05: Onjuiste Uitvoerbehandeling
- Onveilige verwerking van LLM-genereerde inhoud
- Codeinjectie via AI-genererde outputs
- Cross-site scripting via AI-antwoorden
- Outputvalidatie- en saniteitsframeworks
Praktische Oefening: Simuleren van datavergiftigingaanvallen en implementeren van robuuste outputvalidatiemechanismen
Module 4: Geavanceerde LLM-Bedreigingen (1,5 uur)
Onderwerpen:
LLM06: Excessive Agency
- Risico's van autonome besluitvorming en grensovertredingen
- Agent-authoriteit en -rechtenbeheer
- Onbedoelde systeeminteracties en privilege-escalatie
- Implementeren van beveiligingsrails en menselijke toezichtcontroles
LLM07: Systeempromptlekken
- Kwetsbaarheden bij systeeminstructieblootstelling
- Referentie- en logica-disclosure via prompts
- Aanvalstechnieken voor het uitlokken van systeemprompts
- Beveiligen van systeminstructies en externe configuratie
Praktische Oefening: Ontwerpen van veilige agentarchitecturen met de juiste toegangscontroles en monitoring
Dag 2: Geavanceerde Bedreigingen en Implementatie
Module 5: Nieuwe AI-Bedreigingen (2 uur)
Lerendoelen:
- Snappen van snijrand AI-beveiligingsbedreigingen
- Geavanceerde detectie- en preventiemaatregelen implementeren
- Robuuste AI-systemen ontwerpen tegen geavanceerde aanvallen
Onderwerpen:
LLM08: Vector en Embeddingzwaktes
- RAG-systeemkwetsbaarheden en vector database-beveiliging
- Embeddingvergiftiging en similariteitsmanipulatieaanvallen
- Adversarial voorbeelden in semantische zoekopdrachten
- Beveiligen van vectorstores en implementeren van anomaliedetectie
LLM09: Misinformatie en Modelbetrouwbaarheid
- Hallucinatie-detectie en -mitigatie
- Biasversterking en fairheidsaspecten
- Factchecking- en bronverificatiemechanismen
- Inhoudvalidatie en integratie van menselijke toezicht
LLM10: Ongebonden Consumptie
- Bronnenuitputting en denial-of-service-aanvallen
- Rate limiting en bronbeheerstrategieën
- Kostenoptimalisatie en budgetcontroles
- Prestatienotering en waarsysteemen
Praktische Oefening: Een veilige RAG-pipeline bouwen met vector database-beveiliging en hallucinatie-detectie
Module 6: Agente AI-Bevordering (2 uur)
Lerendoelen:
- Inzicht krijgen in de unieke beveiligingsuitdagingen van autonome AI-agents
- De OWASP Agente AI-taxonomie toepassen op realistische systemen
- Beveiligingscontroles implementeren voor multi-agentomgevingen
Onderwerpen:
- Introductie tot Agente AI en autonome systemen
- OWASP Agente AI-bedreigingstaxonomie: Agentdesign, Geheugen, Planning, Tool Use, Deployment
- Beveiliging en coördinatie-risico's voor multi-agentsystemen
- Hulpmiddelmisbruik, geheugenvergiftiging en doeleinde-overschrijvingaanvallen
- Beveiligen van agentcommunicatie en besluitvormingsprocessen
Praktische Oefening: Bedreigingsmodelleringsoefening met OWASP Agente AI-taxonomie voor een multi-agent klantenservicestructuur
Module 7: Implementatie van OWASP Threat Defense COMPASS (2 uur)
Lerendoelen:
- De praktische toepassing van Threat Defense COMPASS beheersen
- AI-bedreigingsanalyse integreren in organisatorische beveiligingsprogramma's
- Omvattende AI-risicomanagementstrategieën ontwikkelen
Onderwerpen:
- Diepdive in Threat Defense COMPASS-methode
- OODA-lusintegratie: Observeren, Oriënteren, Beslissen, Handelen
- Toewijzen van bedreigingen aan MITRE ATT&CK- en ATLAS-frameworks
- Bouwen van AI-Bedreigingsveerkracht Dashboards
- Integratie met bestaande beveiligingstools en processen
Praktische Oefening: Compleet bedreigingsonderzoek uitvoeren met COMPASS voor een Microsoft Copilot-implementatiescenario
Module 8: Praktische Implementatie en Best Practices (2,5 uur)
Lerendoelen:
- Veilige AI-architecturen ontwerpen vanaf het begin
- Monitoring en incidentrespons implementeren voor AI-systemen
- Bestuurlijke kaders creëren voor AI-beveiliging
Onderwerpen:
Veilige AI-ontwikkelingscyclus:
- Beveiliging-by-design-principes voor AI-toepassingen
- Codereviewpraktijken voor LLM-integraties
- Testmethodologieën en kwetsbaarheidscanningen
- Deploymentsveiligheid en productieversterking
Monitoring en Detectie:
- AI-specifieke logging- en monitoringvereisten
- Anomaliedetectie voor AI-systemen
- Incidentresponsp procedures voor AI-beveiligingsincidenten
- Forensische en onderzoekstechnieken
Bestuur en Complianceregels:
- AI-risicomanagementkaders en beleid
- Regelgevende complianceregels (GDPR, AI Act, etc.)
- Third-party risicobeoordeling voor AI-leveranciers
- Beveiligingsbewustzijnstraining voor AI-ontwikkelaars
Praktische Oefening: Een volledige beveiligingsarchitectuur ontwerpen voor een enterprise-AI-chatbot, inclusief monitoring, bestuur en incidentresponsp procedures
Module 9: Tools en Technologieën (1 uur)
Lerendoelen:
- AI-beveiligingstools evalueren en implementeren
- Het huidige landschap van AI-beveiligingsoplossingen begrijpen
- Praktische detectie- en preventiemaatregelen bouwen
Onderwerpen:
- AI-beveiligingstool-ecosysteem en leverancierslandschap
- Open-source beveiligingstools: Garak, PyRIT, Giskard
- Commerciële oplossingen voor AI-beveiliging en monitoring
- Integratiepatronen en implementatiestrategieën
- Toolselectierichtlijnen en evaluatieframeworks
Praktische Oefening: Hands-on demonstratie van AI-beveiligingstesthulpmiddelen en implementatieplanning
Module 10: Toekomstige Trends en Afronding (1 uur)
Lerendoelen:
- Snappen van opkomende bedreigingen en toekomstige beveiligingsuitdagingen
- Continu leer- en verbeterstrategieën ontwikkelen
- Actieplannen maken voor organisatorische AI-beveiligingsprogramma's
Onderwerpen:
- Opkomende bedreigingen: Deepfakes, geavanceerde promptinjectie, modellinversie
- Toekomstige OWASP GenAI-projectontwikkelingen en -roadmap
- Bouwen van AI-beveiligingscommunities en kennisdeling
- Continu verbeteren en integreren van bedreigingsinformatie
Actieplanningsoefening: Een 90-daagse actieplan ontwikkelen voor de implementatie van OWASP GenAI-beveiligingspraktijken in de organisaties van de deelnemers
Vereisten
- Algemene kennis van beveiligingsprincipes voor webtoepassingen
- Basisfamiliariteit met AI/ML-concepten
- Ervaring met beveiligingskaders of risicoanalyse-methodologieën is gewenst
Doelgroep
- Cybersecurity-professionals
- AI-ontwikkelaars
- Systeemarchitecten
- Compliance-officieren
- Beveiligingsexperts