Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Déploiement EXO hors ligne
- Utilisation de EXO_OFFLINE pour empêcher l'accès internet au moment de l'exécution
- Pré-chargement des modèles dans EXO_MODELS_READ_ONLY_DIRS à partir de miroirs internes de confiance
- Vérification de l'intégrité des poids des modèles avec des sommes de contrôle SHA-256 et des cartes de modèle signées
- Exécution d'EXO dans des réseaux isolés (air-gapped) sans dépendances envers HuggingFace
Contrôle d'accès au tableau de bord et à l'API
- Installation et configuration de proxys inverses (nginx, Caddy) avec terminaison TLS
- Mise en œuvre d'un contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST
- Utilisation du trousseau de clés macOS ou de Linux pass pour stocker les secrets d'authentification API
- Restriction des points de terminaison administratifs à des plages d'adresses IP sources spécifiques
Isolation des clusters et sécurité réseau
- Segmentation des clusters EXO avec EXO_LIBP2P_NAMESPACE et VLANs
- Configuration des pare-feux hôtes (pare-feu d'application macOS, iptables, nftables) pour les ports EXO
- Prévention de la découverte de dispositifs non autorisés et de l'injection de nœuds malveillants
- Chiffrement du trafic libp2p entre les nœuds lorsque RDMA n'est pas disponible
Gouvernance et provenance des modèles
- Construction d'un registre de modèles interne avec des listes de modèles approuvés et des métadonnées
- Étiquetage et versioning des poids quantifiés (4-bit, 8-bit) aux côtés des points de contrôle sources
- Imposition du chargement uniquement de dépôts HuggingFace spécifiques ou d'artefacts internes
- Documentation de la lignée des modèles, des conditions de licence et des politiques d'utilisation acceptable
Journalisation d'audit et conformité
- Configuration de la propagation des journaux EXO vers des pistes d'audit immuables (SIEM, stockage WORM)
- Corrélation des journaux d'appels API avec l'identité de l'utilisateur et l'horodatage
- Capture des événements de création, de suppression d'instances de modèles et de demandes d'inférence
- Génération de rapports de conformité périodiques pour les auditeurs internes et externes
Modélisation des menaces et réponse aux incidents
- Identification des menaces : exfiltration de données via les sorties de modèles, injections de prompts, fuites par canaux auxiliaires
- Mise en œuvre de pipelines de surveillance des prompts et de filtrage du contenu
- Création de livrets d'intervention pour les scénarios de compromission de cluster
- Isolation des nœuds affectés, préservation des journaux forensiques et reconstitution d'environnements propres
Sécurité physique et limites matérielles
- Sécurisation des ports Thunderbolt contre les connexions de câbles RDMA non autorisées
- Utilisation d'enceintes sécurisées et de l'attestation matérielle Apple Silicon lorsque cela s'applique
- Contrôle de l'accès physique aux Mac en cluster et au stockage partagé
- Documentation des procédures de cycle de vie et de mise hors service du matériel
Considérations réglementaires
- Cartographie des déploiements EXO aux exigences GDPR, HIPAA et SOC 2
- Maintenance de la résidence des données en maintenant l'inférence en interne (on-premise)
- Documentation des risques de la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids des modèles)
- Préparation aux cadres de gouvernance de l'IA tels que l'article 53 du règlement européen sur l'IA (EU AI Act)
Pré requis
- Expérience avec EXO ou un autre runtime de LLM local
- Compréhension des permissions du système de fichiers Unix et des ACLs réseau
- Maîtrise de la gestion des certificats TLS/SSL et des bases du chiffrement
Audience
- Ingénieurs en sécurité
- Responsables de la conformité
- Administrateurs d'infrastructure IA gérant des données sensibles
14 Heures
Nos clients témoignent (1)
Le formateur avait une excellente connaissance de FortiGate et a bien transmis le contenu. Un grand merci à Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Formation - FortiGate 7.4 Administration
Traduction automatique