Neem contact met ons op

Cursusaanbod

Offline implementatie van EXO

  • Gebruik maken van EXO_OFFLINE om internettoegang tijdens runtime te blokkeren
  • Modellen vooraf laden in EXO_MODELS_READ_ONLY_DIRS vanuit vertrouwde interne spiegelservers
  • Controleren of de modelgewichten correct zijn met SHA-256-checksums en ondertekende modelbeschrijvingen
  • EXO laten draaien in een luchtgescheiden netwerk zonder afhankelijkheden van HuggingFace

Toegangsbeheer voor dashboard en API

  • Reverse proxies installeren en configureren (nginx, Caddy) met TLS-terminatie
  • Rollen-gebaseerd toegangsbeheer implementeren voor het EXO-dashboard en REST API
  • Gebruik maken van macOS-keychain of Linux pass om geheime sleutels op te slaan voor API-authenticatie
  • Toegang tot beheereindpunten beperken tot specifieke bron-IP-adressen

Isolatie van clusters en netwerkbeveiliging

  • EXO-clusters segmenteren met EXO_LIBP2P_NAMESPACE en VLAN’s
  • Host-firewalls configureren (macOS-application firewall, iptables, nftables) voor de nodige EXO-poorten
  • Onbevoegde apparaatdetectie en ongeautoriseerde node-injectie voorkomen
  • Versleutelen van libp2p-verkeer tussen nodes wanneer RDMA niet beschikbaar is

Modelgovernance en vaststellen van herkomst

  • Een intern modelregister opzetten met goedgekeurde modellen en bijbehorende metadata
  • Gequantiseerde gewichten (4-bit, 8-bit) labelen en versiebeheer toepassen ten opzichte van broncheckpoints
  • Afdwingen dat uitsluitend bepaalde HuggingFace-repositories of interne artefacten kunnen worden geladen
  • Documenteren van modelhistorie, licentievoorwaarden en regels voor acceptabel gebruik

Auditloggen en compliance

  • EXO-logs configureren zodat ze automatisch naar onveranderbare audittrajecten worden gestuurd (bijv. SIEM, WORM-opslag)
  • API-aanroeplogboeken koppelen aan gebruikersidentiteit en tijdstempel
  • Activiteiten als het maken, verwijderen of uitvoeren van inferentieverzoeken van modellen vastleggen
  • Periodieke compliance-rapportages opstellen voor interne en externe auditors

Dreigingsanalyse en incidentrespons

  • Risico’s identificeren: data-uitlekken via modeloutput, prompt-injectie, of lekkage door zijwegeffecten
  • Promptmonitoring en contentfiltering implementeren als onderdeel van beveiligingsmaatregelen
  • Handhavingsprocedures opstellen voor incidentrespons bij mogelijke compromittering van een cluster
  • Aangetaste nodes isoleren, forensische logs veiligstellen en een schone omgeving herbouwen

Fysieke beveiliging en hardwarebegrenzingen

  • Thunderbolt-poorten afschermen tegen onbevoegde RDMA-kabelaansluitingen
  • Gebruik maken van veilige enclaves en Apple Silicon-hardwareverificatie wanneer passend
  • Fysieke toegang reguleren tot Mac-computers in een cluster en gedeelde opslagmedia
  • Hardwarelevenscyclus en procedures voor uitschakeling van apparaten vastleggen

Regelgevingsaspecten

  • EXO-implementaties afstemmen op vereisten uit GDPR, HIPAA en SOC 2
  • Dataresidentie waarborgen door inferentie volledig on-premise te laten plaatsvinden
  • Risico’s rond de leveranciersketen documenteren (MLX, EXO, modelgewichten)
  • Voorbereiden op AI-governancekaders zoals Artikel 53 van de EU AI Act

Vereisten

  • Ervaring met EXO of een andere lokale LLM-omgeving
  • Inzicht in Unix-filesysteemrechten en netwerk-ACL’s
  • Bekendheid met het beheer van TLS/SSL-certificaten en basisprincipes van versleuteling

Doelgroep

  • Beveiligingsingenieurs
  • Compliance-functionarissen
  • AI-infrastructuurbeheerders die te maken hebben met gevoelige gegevens
 14 Uren

Aantal deelnemers


Prijs per deelnemer

Getuigenissen (1)

Voorlopige Aankomende Cursussen

Gerelateerde categorieën