Prenez contact avec nous

Plan du cours

Souveraineté IA et déploiement local des LLM

  • Risques des LLM cloud : rétention des données, formation sur les entrées, juridiction étrangère.
  • Architecture Ollama : serveur de modèles, registre et API compatible OpenAI.
  • Comparaison avec vLLM, llama.cpp et Text Generation Inference.
  • Licences des modèles : conditions d'utilisation de Llama, Mistral, Qwen et Gemma.

Installation et configuration matérielle

  • Installation d'Ollama sur Linux avec prise en charge de CUDA et ROCm.
  • Solution de repli CPU uniquement et optimisation AVX/AVX2.
  • Déploiement Docker et mappage des volumes persistants.
  • Configuration multi-GPU et stratégies d'allocation VRAM.

Gestion des modèles

  • Téléchargement de modèles depuis le registre Ollama : ollama pull llama3.
  • Importation de modèles GGUF depuis HuggingFace et TheBloke.
  • Niveaux de quantification : compromis entre Q4_K_M, Q5_K_M et Q8_0.
  • Changement de modèle et limites de chargement concurrent des modèles.

Modelfiles personnalisés

  • Rédaction de la syntaxe Modelfile : FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajustement de la température, top_p et repeat_penalty.
  • Ingénierie des invites système pour un comportement spécifique au rôle.
  • Création et publication de modèles personnalisés vers le registre local.

Intégration API

  • Point de terminaison /v1/chat/completions compatible OpenAI.
  • Réponses en flux (streaming) et mode JSON.
  • Intégration avec LangChain, LlamaIndex et applications personnalisées.
  • Authentification et limitation du débit via un proxy inverse.

Optimisation des performances

  • Définir la taille de la fenêtre contextuelle et gérer le cache KV.
  • Inférence par lots et gestion des requêtes parallèles.
  • Affectation des threads CPU et sensibilité NUMA.
  • Surveillance de l'utilisation du GPU et de la pression mémoire.

Sécurité et conformité

  • Isolation réseau pour les points de terminaison de service des modèles.
  • Pipelines de filtrage des entrées et de modération des sorties.
  • Journalisation d'audit des invites et des complétions.
  • Provenance des modèles et vérification par hachage.

Pré requis

  • Administration Linux et des conteneurs à un niveau intermédiaire.
  • Compréhension de haut niveau du machine learning et des modèles de type transformeur (transformer).
  • Familiarité avec les API REST et JSON.

Audience cible

  • Ingénieurs IA et développeurs remplaçant les APIs LLM cloud.
  • Organisations soumises à une sensibilité des données empêchant l'utilisation de modèles cloud.
  • Équipes gouvernementales et de la défense nécessitant des modèles lingu隔离és (air-gapped).
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires