Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Déploiement d'EXO hors ligne
- Utilisation de EXO_OFFLINE pour empêcher l'accès Internet au moment de l'exécution.
- Préchargement des modèles dans EXO_MODELS_READ_ONLY_DIRS à partir de miroirs internes de confiance.
- Vérification de l'intégrité des poids du modèle avec des sommes de contrôle SHA-256 et des cartes de modèle signées.
- Exécution d'EXO dans des réseaux aérés (air-gapped) sans dépendances à HuggingFace.
Contrôle d'accès au tableau de bord et à l'API
- Installation et configuration de proxys inverses (nginx, Caddy) avec terminaison TLS.
- Mise en œuvre du contrôle d'accès basé sur les rôles pour le tableau de bord EXO et l'API REST.
- Utilisation du trousseau macOS ou Linux pass pour stocker les secrets pour l'authentification API.
- Restriction des extrémités administratives à des plages d'adresses IP source spécifiques.
Isolation du cluster et sécurité réseau
- Ségrégation des clusters EXO avec EXO_LIBP2P_NAMESPACE et VLANs.
- Configuration des pare-feux hôtes (pare-feu d'application macOS, iptables, nftables) pour les ports EXO.
- Prévention de la découverte non autorisée de dispositifs et de l'injection de noeuds malveillants.
- Chiffrement du trafic libp2p entre les noeuds lorsque RDMA n'est pas disponible.
Gouvernance des modèles et provenance
- Construction d'un registre de modèles interne avec des listes de modèles approuvées et des métadonnées.
- Étiquetage et versioning des poids quantifiés (4-bit, 8-bit) alongside des points de contrôle sources.
- Imposition du chargement exclusif de dépôts HuggingFace spécifiques ou d'artefacts internes.
- Documentation de la lignée des modèles, des conditions de licence et des politiques d'utilisation acceptable.
Journaux d'audit et conformité
- Configuration du transfert des journaux EXO vers des traces d'audit immuables (SIEM, stockage WORM).
- Corrélation des journaux d'appels API avec l'identité de l'utilisateur et la date-heure.
- Capture des événements de création, de suppression et de requêtes d'inférence d'instances de modèle.
- Génération périodique de rapports de conformité pour les auditeurs internes et externes.
Modélisation des menaces et réponse aux incidents
- Identification des menaces : exfiltration de données via les sorties du modèle, injection d'invite, fuites par canal latent.
- Mise en œuvre de pipelines de surveillance des invites et de filtrage de contenu.
- Création de manuels de réponse aux incidents pour les scénarios de compromission du cluster.
- Isolation des noeuds affectés, conservation des journaux forensiques et reconstitution d'environnements propres.
Sécurité physique et limites matérielles
- Sécurisation des ports Thunderbolt contre les connexions câbles RDMA non autorisées.
- Utilisation d'enclaves sécurisées et d'attestation matérielle Apple Silicon lorsque cela s'applique.
- Contrôle de l'accès physique aux Mac en cluster et au stockage partagé.
- Documentation des procédures de cycle de vie du matériel et de mise hors service.
Considérations réglementaires
- Mapping des déploiements EXO aux exigences GDPR, HIPAA et SOC 2.
- Maintien de la résidence des données en conservant l'inférence sur site.
- Documentation des risques liés à la chaîne d'approvisionnement des fournisseurs (MLX, EXO, poids du modèle).
- Préparation aux cadres de gouvernance de l'IA tels que l'article 53 de la loi européenne sur l'IA.
Pré requis
- Expérience avec EXO ou un autre runtime de LLM local
- Compréhension des permissions du système de fichiers Unix et des ACLs réseau
- Connaissance de la gestion des certificats TLS/SSL et des bases du chiffrement
Audience
- Ingénieurs en sécurité
- Cadres responsables de la conformité
- Administrateurs d'infrastructure IA gérant des données sensibles
14 Heures
Nos clients témoignent (1)
Le formateur avait une excellente connaissance de FortiGate et a bien transmis le contenu. Un grand merci à Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Formation - FortiGate 7.4 Administration
Traduction automatique