OWASP GenAI Security Training Cursus

Dag 1: Fundamenten en Kern-Dreigingen

Module 1: Inleiding tot het OWASP GenAI Security Project (1 uur)

Leerdoelen:

• De evolutie begrijpen van de OWASP Top 10 naar GenAI-specifieke beveiligingsuitdagingen
• De ecosystemen en resources van het OWASP GenAI Security Project verkennen
• De belangrijkste verschillen identificeren tussen traditionele applicatiebeveiliging en AI-beveiliging

Behandelde onderwerpen:

• Overzicht van de missie en het bereik van het OWASP GenAI Security Project
• Introductie tot het Threat Defense COMPASS-framework
• Inzicht in het AI-beveiligingslandschap en regulatorische eisen
• AI-aanvaloppervlakken versus traditionele webapplicatiekwetsbaarheden

Praktische Oefening: Het instellen van de OWASP Threat Defense COMPASS-tool en het uitvoeren van een initiële dreigingsbeoordeling

Module 2: OWASP Top 10 voor LLMs - Deel 1 (2,5 uur)

Leerdoelen:

• De eerste vijf kritieke LLM-kwetsbaarheden beheersen
• Aanvalsvectoren en exploitatietechnieken begrijpen
• Praktische mitigatiestrategieën toepassen

Behandelde onderwerpen:

LLM01: Prompt Injection

• Technieken voor directe en indirecte prompt injection
• Aanvallen op verborgen instructies en cross-prompt contaminatie
• Praktische voorbeelden: Jailbreaking van chatbots en het omzeilen van veiligheidsmaatregelen
• Defensiestrategieën: Input-sanitisatie, prompt-filtering, differentieel privacy

LLM02: Onthulling van Gevoelige Informatie

• Extractie van trainingsdata en lekken van systemprompts
• Analyse van modelgedrag voor de blootstelling van gevoelige informatie
• Privacyimplicaties en overwegingen voor regulatorische conformiteit
• Mitigatie: Output-filtering, toegangscontroles, data-anonimiseren

LLM03: Kwetsbaarheden in de Leveringsketen

• Afhankelijkheden van derdenmodellen en plugin-beveiliging
• Gekomprimente trainingsdatasets en model poisoning
• Risicobeoordeling van leveranciers voor AI-componenten
• Veilige modeldeployment en verificatiepraktijken

Praktische Oefening: Hands-on lab die prompt injection-aanvallen demonstreert tegen kwetsbare LLM-toepassingen en defensieve maatregelen implementeert

Module 3: OWASP Top 10 voor LLMs - Deel 2 (2 uur)

Behandelde onderwerpen:

LLM04: Data en Model Poisoning

• Manipulatietechnieken van trainingsdata
• Wijziging van modelgedrag via vergiftigde invoer
• Backdoor-aanvallen en verificatie van data-integriteit
• Preventie: Data-validatiepijplijnen, provenance-tracking

LLM05: Onjuiste Output Verwerking

• Onveilige verwerking van door LLM gegenereerde content
• Code injection via AI-gegenereerde outputs
• Cross-site scripting via AI-responses
• Frameworks voor outputvalidatie en -sanitisatie

Praktische Oefening: Simulatie van data poisoning-aanvallen en implementatie van robuuste outputvalidatiemechanismen

Module 4: Geavanceerde LLM-Dreigingen (1,5 uur)

Behandelde onderwerpen:

LLM06: Excessive Agency

• Risico's van autonome besluitvorming en overtredingen van grenzen
• Agent-authoriteit en beheer van permissies
• Ongewenste systeeminteracties en privilege escalation
• Implementatie van guardrails en controles voor menselijk toezicht

LLM07: System Prompt Leakage

• Kwetsbaarheden voor de onthulling van systeeminstructies
• Onthulling van inloggegevens en logica via prompts
• Aanvalstechnieken voor het extraheren van systemprompts
• Veilig stellen van systeeminstructies en externe configuratie

Praktische Oefening: Ontwerp van veilige agent-architecturen met gepaste toegangscontroles en monitoring

Dag 2: Geavanceerde Dreigingen en Implementatie

Module 5: Opkomende AI-Dreigingen (2 uur)

Leerdoelen:

• Inzicht in cutting-edge AI-beveiligingsdreigingen
• Geavanceerde detectie- en preventietechnieken implementeren
• Robuuste AI-systemen ontwerpen tegen gesofisticeerde aanvallen

Behandelde onderwerpen:

LLM08: Zwakke Vectors en Embeddings

• Kwetsbaarheden in RAG-systemen en vector-databasebeveiliging
• Embedding poisoning en manipulatie-aanvallen op similariteit
• Adversariale voorbeelden in semantische zoekopdrachten
• Veilig stellen van vector-opslags en implementatie van anomaliedetectie

LLM09: Misinformatie en Model Betrouwbaarheid

• Detectie en mitigatie van hallucinaties
• Versterking van bias en overwegingen voor eerlijkheid
• Mechanismen voor feitencontrole en bronverificatie
• Contentvalidatie en integratie van menselijk toezicht

LLM10: Onbegrenste Consumptie

• Ressourceuitputting en denial-of-service aanvallen
• Strategieën voor rate limiting en resourcemanagement
• Kost optimalisatie en budgetcontroles
• Prestatiebewaking en meldingssystemen

Praktische Oefening: Bouwen van een veilige RAG-pijplijn met vector-databasebescherming en hallucinatiedetectie

Module 6: Agentic AI Beveiliging (2 uur)

Leerdoelen:

• De unieke beveiligingsuitdagingen van autonome AI-agents begrijpen
• De OWASP Agentic AI-taxonomie toepassen op real-world systemen
• Beveiligingscontroles implementeren voor multi-agent-omgevingen

Behandelde onderwerpen:

• Introductie tot Agentic AI en autonome systemen
• OWASP Agentic AI Threat Taxonomy: Agent Design, Memory, Planning, Tool Use, Deployment
• Beveiliging van multi-agent-systemen en coördinatie-risico's
• Toolmisbruik, memory poisoning en goal hijacking aanvallen
• Beveiliging van communicatie- en besluitvormingsprocessen van agents

Praktische Oefening: Threat modeling-oefening met de OWASP Agentic AI-taxonomie voor een multi-agent-klantenservicessysteem

Module 7: OWASP Threat Defense COMPASS Implementatie (2 uur)

Leerdoelen:

• De praktische toepassing van Threat Defense COMPASS beheersen
• AI-dreigingsbeoordeling integreren in organisationele beveiligingsprogramma's
• Uitgebreide AI-risicomanagementstrategieën ontwikkelen

Behandelde onderwerpen:

• Diepte-inzicht in de Threat Defense COMPASS-methodologie
• Integratie van de OODA Loop: Observe, Orient, Decide, Act
• Mapping van dreigingen op de MITRE ATT&CK en ATLAS frameworks
• Bouwen van AI Threat Resilience Strategy Dashboards
• Integratie met bestaande beveiligingstools en processen

Praktische Oefening: Uitgebreide dreigingsbeoordeling met COMPASS voor een Microsoft Copilot-deployment scenario

Module 8: Praktische Implementatie en Best Practices (2,5 uur)

Leerdoelen:

• Veilige AI-architecturen ontwerpen vanaf de basis
• Monitoring en incidentresponse voor AI-systemen implementeren
• Governancekaders voor AI-beveiliging creëren

Behandelde onderwerpen:

Veilige AI Ontwikkelingscyclus:

• Security-by-design principes voor AI-toepassingen
• Code review-praktijken voor LLM-integraties
• Testmethodologieën en kwetsbaarheidsscans
• Deployment-beveiliging en productieharden

Monitoring en Detectie:

• AI-specifieke logging- en monitoring-eisen
• Anomaliedetectie voor AI-systemen
• Incidentresponseprocedures voor AI-beveiligingsincidenten
• Forensische en onderzoekstechnieken

Governance en Compliance:

• AI-risicomanagementframeworks en -beleid
• Overwegingen voor regulatorische conformiteit (GDPR, AI Act, etc.)
• Risicobeoordeling van derden voor AI-leveranciers
• Beseftraining voor AI-ontwikkelingsteams

Praktische Oefening: Ontwerp een volledige beveiligingsarchitectuur voor een enterprise-AI-chatbot, inclusief monitoring, governance en incidentresponseprocedures

Module 9: Tools en Technologieën (1 uur)

Leerdoelen:

• AI-beveiligingstools evalueren en implementeren
• Het huidige AI-beveiligingsoplossingenlandschap begrijpen
• Praktische detectie- en preventiecapaciteiten bouwen

Behandelde onderwerpen:

• AI-beveiligingstool-ecosysteem en vendor-landschap
• Open-source beveiligingstools: Garak, PyRIT, Giskard
• Commerciële oplossingen voor AI-beveiliging en -monitoring
• Integratiepatronen en deploymentstrategieën
• Selectiecriteria voor tools en evaluatieframeworks

Praktische Oefening: Hands-on demonstratie van AI-beveiligingstests en implementatieplanning

Module 10: Toekomstige Trends en Afronding (1 uur)

Leerdoelen:

• Opkomende dreigingen en toekomstige beveiligingsuitdagingen begrijpen
• Strategieën voor continu leren en verbeteren ontwikkelen
• Actieplannen voor organisatorische AI-beveiligingsprogramma's creëren

Behandelde onderwerpen:

• Opkomende dreigingen: Deepfakes, geavanceerde prompt injection, model inversie
• Toekomstige ontwikkelingen en roadmap van het OWASP GenAI-project
• Bouwen van AI-beveiligingscommunities en kennisdeling
• Continue verbetering en integratie van dreigingsinformatie

Actieplanningsoefening: Ontwikkel een 90-daags actieplan voor de implementatie van OWASP GenAI-beveiligingspraktijken in de organisaties van de deelnemers