Prenez contact avec nous

Plan du cours

Fondamentaux de l'IA locale sécurisée

  • Ce que signifient l'IA locale et on-prem dans les environnements réglementés
  • IA dans le cloud versus déploiement interne pour les charges de travail sensibles
  • Cas d'utilisation enterprise courants pour les assistants privés et le support de flux de travail
  • Composants clés d'une architecture d'IA locale sécurisée

Bases de Ollama et des modèles open source

  • Comment Ollama s'intègre dans une pile de développement locale
  • Télécharger, exécuter et gérer des modèles localement
  • Choisir des modèles en fonction de la taille, de la qualité, du matériel et de la licence
  • Aligner les options de modèles sur des tâches professionnelles pratiques

Préparation de l'environnement on-prem

  • Préparation de l'hôte, de la station de travail et du serveur
  • Installation et configuration de Ollama pour l'inférence locale
  • Utilisation de conteneurs et d'outils de développement internes
  • Vérification de l'accès API et de la préparation opérationnelle de base

Utilisation efficace des modèles locaux

  • Exécution de prompts et façonnage des sorties avec des instructions système
  • Réutilisation de modèles pour des tâches enterprise cohérentes
  • Gestion des versions de modèles et des artefacts internes
  • Réglage de performance de base pour les déploiements CPU et GPU

Construction de flux de travail agents pratiques

  • Ce qui rend un flux de travail 'agent' dans un cadre contrôlé
  • Schémas simples pour la planification, l'utilisation d'outils et les boucles de réponse
  • Conception d'assistants focalisés sur les tâches pour les opérations internes
  • Ajout de revue humaine, de logique de repli et de gestion des erreurs

Flux de travail de récupération privée

  • Bases de la génération augmentée par récupération pour l'accès aux connaissances internes
  • Préparation des documents pour le découpage, l'indexation et la recherche
  • Connexion d'un magasin vectoriel local à une application basée sur Ollama
  • Amélioration de la pertinence et de la qualité des réponses avec de meilleurs schémas de récupération

Pratiques de sécurité, de gouvernance et de conformité

  • Limites de gestion des données et considérations de confidentialité
  • Contrôle d'accès, journalisation et support d'audit
  • Sécurité des prompts, contrôles de sortie et garde-fous
  • Points de contrôle de gouvernance pour le déploiement et l'exploitation réglementés

Schémas d'intégration enterprise

  • Exposition des capacités d'IA locale via des API internes
  • Intégration des assistants avec des applications et services internes
  • Support des cas d'utilisation d'assistance, de traitement par lots et d'automatisation de flux de travail
  • Maintien des solutions à l'intérieur des limites réseau contrôlées

Évaluation des solutions d'IA locale

  • Évaluation de la qualité, de la fiabilité et de la cohérence
  • Tests par rapport aux exigences commerciales, réglementaires et de sécurité
  • Comparaison des options de modèles pour des tâches enterprise spécifiques
  • Établissement d'un cycle d'amélioration pratique pour les équipes internes

Atelier de mise en œuvre pratique

  • Construction d'un assistant privé avec Ollama et un modèle open source
  • Ajout de récupération sur des documents internes approuvés
  • Introduction d'actions agents simples et de contrôles de sécurité
  • Revue des déploiements, de l'exploitation et des points de contrôle de gouvernance

Planification de l'adoption et prochaines étapes

  • Revue des décisions clés de conception et de déploiement
  • Identification des pièges courants dans les projets d'IA réglementés
  • Planification des cas d'utilisation pilote et alignement des parties prenantes
  • Définition d'une feuille de route pour l'adoption de l'IA locale sécurisée

Pré requis

  • Compréhension de base des concepts d'IA et du développement logiciel
  • Familiarité avec les outils en ligne de commande, les conteneurs ou les environnements de développement locaux
  • Expérience de base en scriptage ou en programmation

Public cible

  • Développeurs et équipes techniques construisant des solutions IA privées sur une infrastructure interne
  • Professionnels de la sécurité, de la conformité et des plateformes soutenant l'IA dans des environnements réglementés
  • Leaders techniques dans les secteurs de la finance, de la santé, du gouvernement et de la défense évaluant l'adoption de l'IA on-prem
 21 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires