Prenez contact avec nous

Plan du cours

Fondamentaux de l'IA locale sécurisée

  • Signification de l'IA locale et sur site dans les environnements réglementés
  • IA dans le cloud par rapport au déploiement interne pour les charges de travail sensibles
  • Cas d'utilisation courants en entreprise pour les assistants privés et l'assistance aux flux de travail
  • Composants essentiels d'une architecture d'IA locale sécurisée

Bases d'Ollama et des modèles open source

  • Comment Ollama s'intègre dans une pile de développement locale
  • Téléchargement, exécution et gestion des modèles localement
  • Choix des modèles en fonction de la taille, de la qualité, du matériel et de la licence
  • Adaptation des options de modèles à des tâches d'affaires pratiques

Préparation de l'environnement sur site

  • Préparation de l'hôte, de la station de travail et du serveur
  • Installation et configuration d'Ollama pour l'inférence locale
  • Utilisation de conteneurs et d'outils de développement internes
  • Vérification de l'accès à l'API et de la préparation opérationnelle de base

Travail efficace avec les modèles locaux

  • Exécution de invites et façonnage des sorties avec des instructions système
  • Réutilisation de modèles pour des tâches d'entreprise cohérentes
  • Gestion des versions de modèles et des artefacts internes
  • Ajustement des performances de base pour les déploiements CPU et GPU

Création de flux de travail agents pratiques

  • Ce qui rend un flux de travail agent dans un cadre contrôlé
  • Modèles simples pour la planification, l'utilisation d'outils et les boucles de réponse
  • Conception d'assistants axés sur des tâches pour les opérations internes
  • Ajout de revue humaine, de logique de secours et de gestion des erreurs

Flux de travail privés de récupération d'informations

  • Bases de la génération augmentée par la récupération pour l'accès aux connaissances internes
  • Préparation des documents pour le découpage, l'indexation et la recherche
  • Connexion d'un magasin de vecteurs local à une application basée sur Ollama
  • Amélioration de la pertinence et de la qualité des réponses avec de meilleurs modèles de récupération

Pratiques de sécurité, de gouvernance et de conformité

  • Limites de gestion des données et considérations liées à la vie privée
  • Contrôle d'accès, journalisation et support d'audit
  • Sécurité des invites, contrôles de sortie et garde-fous
  • Points de contrôle de gouvernance pour le déploiement et l'exploitation réglementés

Modèles d'intégration d'entreprise

  • Exposition des capacités d'IA locales via des API internes
  • Intégration des assistants avec des applications et services internes
  • Soutien des cas d'utilisation d'assistance, de traitement par lots et d'automatisation des flux de travail
  • Maintien des solutions à l'intérieur de limites de réseau contrôlées

Évaluation des solutions d'IA locale

  • Évaluation de la qualité, de la fiabilité et de la cohérence
  • Tests par rapport aux exigences opérationnelles, politiques et de sécurité
  • Comparaison des options de modèles pour des tâches d'entreprise spécifiques
  • Établissement d'un cycle d'amélioration pratique pour les équipes internes

Laboratoire d'implémentation pratique

  • Construction d'un assistant privé avec Ollama et un modèle open source
  • Ajout de la récupération sur des documents internes approuvés
  • Introduction d'actions agents simples et de contrôles de sécurité
  • Examen des points de contrôle de déploiement, d'exploitation et de gouvernance

Planification de l'adoption et prochaines étapes

  • Examen des décisions clés de conception et de déploiement
  • Identification des pièges courants dans les projets d'IA réglementés
  • Planification de cas d'utilisation pilotes et alignement des parties prenantes
  • Définition d'une feuille de route pour l'adoption d'une IA locale sécurisée

Pré requis

  • Compréhension de base des concepts d'IA et du développement logiciel
  • Familiarité avec les outils de ligne de commande, les conteneurs ou les environnements de développement locaux
  • Expérience de base en script ou en programmation

Public cible

  • Développeurs et équipes techniques construisant des solutions IA privées sur des infrastructures internes
  • Professionnels de la sécurité, de la conformité et des plateformes supportant l'IA dans des environnements réglementés
  • Responsables techniques dans les secteurs de la finance, de la santé, du gouvernement et de la défense évaluant l'adoption d'une IA sur site
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires