Cursusaanbod
Module 1 — Hoe AI-apps breken
Lab: geen — architectuurdoorloop & discussie
Een mentaal model van het aanvalsoppervlak voor bouwers.
Onderwerpen:
- LLM-, RAG- en agent-architecturen vanuit het ontwikkelaarsperspectief
- het aanvraag/antwoord-levenscyclus van een AI-functie
- prompt-flow: systeem-, ontwikkelaar-, gebruiker- en hulpmiddelberichten
- war wantrouwde data het model binnenkomt (en weer binnenkomt)
- de vertrouwen-grensen die een ontwikkelaar bezit versus erft
- waarom AI-aanvallen semantisch zijn, niet syntactisch
- de OWASP LLM Top 10 mappen op code die je schrijft
Kerninzicht: Elke plek waar wantrouwde tekst het model bereikt — of modeluitvoer jouw code — is een grens die jij bezit.
Module 2 — Prompt-injectie voor bouwers
Lab: Lab 01 — 01-Prompt-Injection
Het 'SQL-injectiemoment' voor AI — maar je kunt er niet volledig aan ontsnappen.
Onderwerpen:
- directe versus indirecte prompt-injectie
- verborgen instructies in documenten, webpagina's, hulpmiddeluitvoer
- jailbreaks en rol-verwarring
- waarom scheiding van instructie/data belangrijk is
- defensief prompt-ontwerp (afbakeningen, structuur, minimale autoriteit)
- waarom preventie slechts gedeeltelijk werkt — ontwerp voor bevattings
Oefening:
- val je eigen chatbot aan
- ontwerk een naieve filter
- herstructureer de prompt om de ontploffingsradius te verkleinen
Module 3 — Modeluitvoer behandelen als wantrouwd
Lab: Lab 02 — 02-Output-Handling
De bug-categorie die ontwikkelaars het minst onderschatten.
Onderwerpen:
- modeluitvoer als wantrouwde invoer voor de rest van de app
- onveilige afhandeling van uitvoer (LLM02): XSS, SSRF, commando/SQL-injectie downstream
- nooit raw modeluitvoer evalueren/uitvoeren/renderen
- gestructureerde uitvoer en schema-validatie
- uitvoer-codering en allowlists
- veilig renderen in web/UI-contexten
Oefening:
- vind en fix een kwetsbaarheid in onveilige uitvoerbehandeling
- dwing een JSON-schema af op modelresponsen
Module 4 — RAG-beveiliging
Lab: Lab 03 — 03-RAG-Security
Een van de grootste nieuwe aanvalsoppervlakken — en het is aan jou om het te bouwen.
Onderwerpen:
- vector-DB- en ophaalbedreigingen
- sanitization bij ingestroomde data
- documentherkomst en trust scoring
- scoping van ophaling en metadata-isolatie
- verborgen instructies in opgehaalde inhoud (indirecte injectie)
- data-exfiltratie via ophaling
Oefening: vergiftig een RAG-pipeline met een kwaadaardig document; voeg ingestroomde sanitization en ophaal-scoping toe om het te verdedigen.
Module 5 — Veiligheid van Agents & Hulpmiddelen
Lab: Lab 04 — 04-Agent-Safety
Waar een bug tot een actie wordt.
Onderwerpen:
- excessieve autonomie (LLM06) en misbruik van hulpmiddelen
- machtigingsbeperking voor agents
- allowlists voor hulpmiddelen en argumentvalidatie
- goedkeuringsmuren en 'human-in-the-loop'
- sandboxen van hulpmiddeluitvoering
- omschreven, kortlevende referenties voor agents
- het beperken van autonome loops en chaining
Oefening:
- sluit een te vrijgevig agent af
- voeg een allowlist + goedkeuringsmuur toe aan een gevaarlijk hulpmiddel
Module 6 — Geheimen, Identiteit & Kosten
Lab: Lab 05 — 05-Secrets-and-Cost
Operationele fouten die het snelst pijn doen.
Onderwerpen:
- beheer van API-sleutels en geheimen (nooit in prompts, code of logs)
- per-gebruiker authenticatie en autorisatie voor AI-functies
- doorgeven van gebruikersidentiteit aan hulpmiddelen en ophaling
- denial-of-wallet: onglimiteerd token-/kostenverbruik
- snelheidslimieten, tokenbudgetten en timeouts
- logging zonder geheimen of PII te lekken
Oefening:
- haal geheimen uit het prompt-/codepad
- voeg per-gebruiker snelheidslimieten en een token-/kostenbudget toe
Module 7 — Guardrail-bibliotheken
Lab: Lab 06 — 06-Guardrails
Kopen versus bouwen voor input/output-veiligheid.
Onderwerpen:
- wat guardrail-frameworks wel (en niet) doen
- input guardrails: injectie/PII/onderwerp-classificators
- output guardrails: validatie, filtrering, grounding checks
- wanneer een guardrail gepast is versus je eigen deterministische check
- lagen van guardrails overlappen met de controls uit eerdere modules
- prestatie, false positives en failure modes
Oefening:
- voeg een input/output guardrail-laag toe aan een AI-functie
- meet wat het vangt en wat het mist
Module 8 — Red-teaming van je eigen App
Lab: Lab 07 — 07-Red-Teaming
Lever het alsof een aanvaller het al heeft.
Onderwerpen:
- het bouwen van een misbruik/testsuite voor AI-functies
- geautomatiseerde prompt-injectie- en jailbreak-tests
- regressietests voor guardrails en policies
- het uitvoeren van AI-beveiligingschecks in CI
- supply chain voor modellen en afhankelijkheden (herkomst, pinning)
- een security-checklist voorafgaand aan levering voor AI-functies
Oefening:
- schrijf geautomatiseerde red-teamtests voor een AI-functie
- koppel ze aan een CI-check
Module 9 — AI-beveiliging scoreren: Het SAIS-100 Framework
Lab: geen — scoringsoefening (gebruikt de Capstone-app)
Zet alles wat je hebt gebouwd om tot een herhaalbare score.
Onderwerpen:
- de AI Security Hexagon: zes vragen in plaats van 'is het veilig?'
- de zes gescoorde categorieën (Data, Prompt, Agent, Supply Chain, Detection, Governance)
- de 100-punten rubric en de wegingen
- verdict bands en de override-regel voor enkele categorieën
- de Elephant Scale Secure AI Score (SAIS-100) als een branded, heruitvoerbare framework
- scoring voor/na hardening als metric
Oefening:
- score de Capstone-app op de 100-punten schaal
- noem de enkele verandering die de score het meest verhoogt
Kerninzicht: De drie categorieën met het hoogste gewicht mappen naar de vertrouwen-grensen die een ontwikkelaar bezit — dus de score meet precies wat deze cursus heeft geleerd.
Capstone
Studenten harden een bewust kwetsbare AI-toepassing end-to-end.
De start-app bevat:
- een injecteerbare prompt
- onveilige output-afhandeling
- een niet-omschreven RAG-pipeline
- een te vrijgevig agent
- geheimen in het prompt-pad
- geen kostenlimieten
Studenten passen de cursus toe:
- herstructureer prompts voor bevattings
- valideer en codeer modeluitvoer
- santize en scope ophaling
- pas machtigingsbeperking en goedkeuringsmuren toe op de agent
- haal geheimen weg en voeg kosten-/snelheidslimieten toe
- voeg guardrails en geautomatiseerde red-teamtests toe
Oplevering: een geharde app plus een korte OWASP LLM Top 10 self-assessment.
Module - Lab map
Labs draaien in lab-sequentie, die de module-sequentie volgt. De cursus heeft 9 modules en 7 labs: Module 1 is een architectuurdoorloop/discussie en Module 9 is een scoringsoefening, dus geen van beide heeft zijn eigen lab-map.
- Lab 01 - 01-Prompt-Injection: Val je chatbot aan & ontwerp voor bevattings (Module 2)
- Lab 02 - 02-Output-Handling: Fix een bug in onveilige output-afhandeling (Module 3)
- Lab 03 - 03-RAG-Security: Vergiftig dan verdedig een RAG-pipeline (Module 4)
- Lab 04 - 04-Agent-Safety: Sluit een te vrijgevig agent af (Module 5)
- Lab 05 - 05-Secrets-and-Cost: Beveilig sleutels + voeg kosten-guardrails toe (Module 6)
- Lab 06 - 06-Guardrails: Voeg een input/output guardrail-laag toe (Module 7)
- Lab 07 - 07-Red-Teaming: Geautomatiseerde red-teamtests in CI (Module 8)
Module 1 (Hoe AI-apps breken) heeft geen lab — het loopt als een architectuurdoorloop en discussie. Module 9 (AI-beveiliging scoreren) heeft geen lab-map — het loopt als een scoringsoefening tegen de Capstone-app.
Vereisten
- Vaardigheidsniveau: Intermediair.
- Studenten moeten comfortabel zijn met: bouwen en consumeren van REST-APIs, een scripttaal (labs gebruiken Python), basisapplicatieauthenticatie, git en de CLI.
- Geen achtergrond in machine learning is vereist – dit is een cursus applicatiebeveiliging voor mensen die bouwen met LLMs, niet voor mensen die ze trainen.
Doelgroep
- Software-/backend-engineers die AI-functies bouwen
- Full-stack en API-ontwikkelaars
- AI/ML-toepassingsengineers
- Platformengineers die copilots en agents leveren
- Tech leads en senior engineers die verantwoordelijk zijn voor AI-functies
Getuigenissen (2)
Ik vond het leren over AI-aanvallen en de beschikbare tools om te beginnen met oefenen en actief inzetten voor securitytesting heel waardevol. Ik heb veel kennis opgedaan die ik aan het begin nog niet had, en de cursus voldeed aan mijn verwachtingen. Het leukste deel van de training was Comet Browser; ik was verbaasd over wat deze tool kon. Dit is zeker iets waar ik dieper in wil duiken. Over het algemeen was het een uitstekende cursus, en ik heb veel genoten van het leren over de OWASP GenAI Top 10.
Patrick Collins - Optum
Cursus - OWASP GenAI Security
Automatisch vertaald
Het professionele kennis en de manier waarop hij het voor ons presenteerde
Miroslav Nachev - PUBLIC COURSE
Cursus - Cybersecurity in AI Systems
Automatisch vertaald
