Prenez contact avec nous

Plan du cours

Déploiement EXO hors ligne

  • Utilisation de EXO_OFFLINE pour empêcher l'accès internet au moment de l'exécution
  • Pré-chargement des modèles dans EXO_MODELS_READ_ONLY_DIRS à partir de miroirs internes de confiance
  • Vérification de l'intégrité des poids des modèles avec des sommes de contrôle SHA-256 et des cartes de modèle signées
  • Exécution d'EXO dans des réseaux isolés (air-gapped) sans dépendances envers HuggingFace

Contrôle d'accès au tableau de bord et à l'API

  • Installation et configuration de proxys inverses (nginx, Caddy) avec terminaison TLS
  • Mise en œuvre d'un contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST
  • Utilisation du trousseau de clés macOS ou de Linux pass pour stocker les secrets d'authentification API
  • Restriction des points de terminaison administratifs à des plages d'adresses IP sources spécifiques

Isolation des clusters et sécurité réseau

  • Segmentation des clusters EXO avec EXO_LIBP2P_NAMESPACE et VLANs
  • Configuration des pare-feux hôtes (pare-feu d'application macOS, iptables, nftables) pour les ports EXO
  • Prévention de la découverte de dispositifs non autorisés et de l'injection de nœuds malveillants
  • Chiffrement du trafic libp2p entre les nœuds lorsque RDMA n'est pas disponible

Gouvernance et provenance des modèles

  • Construction d'un registre de modèles interne avec des listes de modèles approuvés et des métadonnées
  • Étiquetage et versioning des poids quantifiés (4-bit, 8-bit) aux côtés des points de contrôle sources
  • Imposition du chargement uniquement de dépôts HuggingFace spécifiques ou d'artefacts internes
  • Documentation de la lignée des modèles, des conditions de licence et des politiques d'utilisation acceptable

Journalisation d'audit et conformité

  • Configuration de la propagation des journaux EXO vers des pistes d'audit immuables (SIEM, stockage WORM)
  • Corrélation des journaux d'appels API avec l'identité de l'utilisateur et l'horodatage
  • Capture des événements de création, de suppression d'instances de modèles et de demandes d'inférence
  • Génération de rapports de conformité périodiques pour les auditeurs internes et externes

Modélisation des menaces et réponse aux incidents

  • Identification des menaces : exfiltration de données via les sorties de modèles, injections de prompts, fuites par canaux auxiliaires
  • Mise en œuvre de pipelines de surveillance des prompts et de filtrage du contenu
  • Création de livrets d'intervention pour les scénarios de compromission de cluster
  • Isolation des nœuds affectés, préservation des journaux forensiques et reconstitution d'environnements propres

Sécurité physique et limites matérielles

  • Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées
  • Utilisation d'enceintes sécurisées et de l'attestation matérielle Apple Silicon lorsque cela s'applique
  • Contrôle de l'accès physique aux Mac en cluster et au stockage partagé
  • Documentation des procédures de cycle de vie et de mise hors service du matériel

Considérations réglementaires

  • Cartographie des déploiements EXO aux exigences GDPR, HIPAA et SOC 2
  • Maintenance de la résidence des données en maintenant l'inférence en interne (on-premise)
  • Documentation des risques de la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles)
  • Préparation aux cadres de gouvernance de l'IA tels que l'article 53 du règlement européen sur l'IA (EU AI Act)

Pré requis

  • Expérience avec EXO ou un autre runtime de LLM local
  • Compréhension des permissions du système de fichiers Unix et des ACLs réseau
  • Maîtrise de la gestion des certificats TLS/SSL et des bases du chiffrement

Audience

  • Ingénieurs en sécurité
  • Responsables de la conformité
  • Administrateurs d'infrastructure IA gérant des données sensibles
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (1)

Cours à venir

Catégories Similaires