Neem contact met ons op

Cursusaanbod

Offline EXO-implementatie

  • Het gebruik van EXO_OFFLINE om runtime-internettoegang te voorkomen
  • Voorgeladen modellen in EXO_MODELS_READ_ONLY_DIRS van vertrouwde interne mirrors
  • Verificatie van de integriteit van modelgewichten met SHA-256-checksums en ondertekende modelkaarten
  • Het uitvoeren van EXO in geïsoleerde netwerken zonder afhankelijkheden van HuggingFace

Toegangscontrole voor dashboard en API

  • Installeren en configureren van reverse proxies (nginx, Caddy) met TLS-afsluiting
  • Implementeren van role-based access control voor het EXO-dashboard en de REST API
  • Het gebruiken van de macOS sleutelopslag of Linux pass om geheimen voor API-verificatie op te slaan
  • Beperken van administratieve eindpunten tot specifieke bron-IP-bereiken

Clusterisolate en netwerkbeveiliging

  • Segmenteren van EXO-clusters met EXO_LIBP2P_NAMESPACE en VLAN's
  • Configureren van host-firewalls (macOS applicatiefirewall, iptables, nftables) voor EXO-poorten
  • Voorafgaan aan ongeautoriseerde apparaatdiscoverie en het injecteren van rogue nodes
  • Encryptie van libp2p-verkeer tussen nodes wanneer RDMA niet beschikbaar is

Modelgovernance en provenance

  • Het opbouwen van een intern modelregister met goedgekeurde modellijsten en metadata
  • Tagonderdelen en versiebeheer van gekwantificeerde gewichten (4-bit, 8-bit) samen met broncheckpoints
  • Afdwingen dat alleen specifieke HuggingFace-repos of interne artifacts kunnen worden geladen
  • Documenteren van modellineage, licentievoorwaarden en gebruiksbeleid

Auditlogboeken en compliance

  • Het configureren van EXO-logforwarding naar onveranderlijke audittrails (SIEM, WORM-opslag)
  • Korreleren van API-aanroeplogs met gebruikersidentiteit en tijdstempel
  • Vangen van gebeurtenissen voor het maken en verwijderen van modelinstanties en inferentieaanvragen
  • Het genereren van periodieke compliance-rapporten voor interne en externe auditeurs

Bedreigingsmodellering en incidentrespons

  • Identificeren van bedreigingen: data-exfiltratie via modeluitgangen, prompt-injectie, zij-kanaal lekken
  • Implementeren van prompt-monitoring en inhoudfilteringspijpleidingen
  • Het creëren van incidentrespons-handboeken voor clusterkompromisscenario's
  • Isoleren van getroffen nodes, behouden van forensische logs en opbouwen van schone omgevingen

Fysieke veiligheid en hardwaregrenzen

  • Beveiligen van Thunderbolt-poorten tegen ongeautoriseerde RDMA-kabelverbindingen
  • Het gebruiken van secure enclaves en Apple Silicon hardware-attestatie waar van toepassing
  • Controleren van fysieke toegang tot gegroepeerde Macs en gedeelde opslag
  • Documenteren van hardwarelevenscyclus en ontmantelingsprocedures

Regulatorische overwegingen

  • Koppelen van EXO-deployments aan GDPR, HIPAA en SOC 2-vereisten
  • Vasthouden aan dataresidency door inferentie on-premise te houden
  • Documenteren van leveranciersketenrisico's (MLX, EXO, modelgewichten)
  • Voorbereiden op AI-governancekaders zoals EU AI Act Artikel 53

Vereisten

  • Ervaring met EXO of een andere lokale LLM-runtime
  • Begrip van Unix-bestandsysteemrechten en netwerk-ACL's
  • Vertrouwdheid met TLS/SSL-certificaatbeheer en basisprincipes van encryptie

Doelgroep

  • Beveiligingsingenieurs
  • Compliance-officieren
  • AI-infrastructuurbeheerders die met gevoelige gegevens werken
 14 Uren

Aantal deelnemers


Prijs per deelnemer

Getuigenissen (1)

Voorlopige Aankomende Cursussen

Gerelateerde categorieën