Formation Ollama : Héberger soi-même des grands modèles de langage pour remplacer les APIs OpenAI et Claude
Ollama est un outil open-source permettant d'exécuter localement des grands modèles de langage (LLM) sur du matériel grand public et professionnel. Il abstracte la quantification des modèles, l'allocation du GPU et le service d'API au sein d'une seule interface en ligne de commande, permettant aux organisations d'héberger elles-mêmes des LLM tels que Llama, Mistral et Qwen sans envoyer leurs invites ou données à OpenAI, Anthropic ou Google.
Cette formation pratique animée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs IA et opérateurs de plateforme intermédiaires souhaitant utiliser Ollama pour remplacer les APIs LLM cloud par une inférence de modèles linguistiques souveraine auto-hébergée.
À l'issue de cette formation, les participants seront capables de :
- Installer Ollama sur Linux, macOS et Windows avec prise en charge du GPU.
- Télécharger (pull), quantifier et servir des modèles depuis le registre Ollama et HuggingFace.
- Créer des Modelfiles personnalisés avec des invites système et un ajustement des paramètres.
- Intégrer des LLM locaux aux applications via l'API compatible OpenAI.
- Optimiser les performances d'inférence pour les configurations uniquement sur CPU et multi-GPU.
Format du cours
- Cours interactif et discussions.
- Nombreux exercices et mises en pratique.
- Mise en œuvre concrète dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.
Plan du cours
Souveraineté IA et déploiement local des LLM
- Risques des LLM cloud : rétention des données, formation sur les entrées, juridiction étrangère.
- Architecture Ollama : serveur de modèles, registre et API compatible OpenAI.
- Comparaison avec vLLM, llama.cpp et Text Generation Inference.
- Licences des modèles : conditions d'utilisation de Llama, Mistral, Qwen et Gemma.
Installation et configuration matérielle
- Installation d'Ollama sur Linux avec prise en charge de CUDA et ROCm.
- Solution de repli CPU uniquement et optimisation AVX/AVX2.
- Déploiement Docker et mappage des volumes persistants.
- Configuration multi-GPU et stratégies d'allocation VRAM.
Gestion des modèles
- Téléchargement de modèles depuis le registre Ollama : ollama pull llama3.
- Importation de modèles GGUF depuis HuggingFace et TheBloke.
- Niveaux de quantification : compromis entre Q4_K_M, Q5_K_M et Q8_0.
- Changement de modèle et limites de chargement concurrent des modèles.
Modelfiles personnalisés
- Rédaction de la syntaxe Modelfile : FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajustement de la température, top_p et repeat_penalty.
- Ingénierie des invites système pour un comportement spécifique au rôle.
- Création et publication de modèles personnalisés vers le registre local.
Intégration API
- Point de terminaison /v1/chat/completions compatible OpenAI.
- Réponses en flux (streaming) et mode JSON.
- Intégration avec LangChain, LlamaIndex et applications personnalisées.
- Authentification et limitation du débit via un proxy inverse.
Optimisation des performances
- Définir la taille de la fenêtre contextuelle et gérer le cache KV.
- Inférence par lots et gestion des requêtes parallèles.
- Affectation des threads CPU et sensibilité NUMA.
- Surveillance de l'utilisation du GPU et de la pression mémoire.
Sécurité et conformité
- Isolation réseau pour les points de terminaison de service des modèles.
- Pipelines de filtrage des entrées et de modération des sorties.
- Journalisation d'audit des invites et des complétions.
- Provenance des modèles et vérification par hachage.
Pré requis
- Administration Linux et des conteneurs à un niveau intermédiaire.
- Compréhension de haut niveau du machine learning et des modèles de type transformeur (transformer).
- Familiarité avec les API REST et JSON.
Audience cible
- Ingénieurs IA et développeurs remplaçant les APIs LLM cloud.
- Organisations soumises à une sensibilité des données empêchant l'utilisation de modèles cloud.
- Équipes gouvernementales et de la défense nécessitant des modèles lingu隔离és (air-gapped).
Les formations ouvertes requièrent plus de 3 participants.
Formation Ollama : Héberger soi-même des grands modèles de langage pour remplacer les APIs OpenAI et Claude - Réservation
Formation Ollama : Héberger soi-même des grands modèles de langage pour remplacer les APIs OpenAI et Claude - Demande de renseignements
Ollama : Héberger soi-même des grands modèles de langage pour remplacer les APIs OpenAI et Claude - Demande d'informations consulting
Cours à venir
Cours Similaires
Débogage et évaluation avancés des modèles Ollama
35 HeuresLe débogage et l'évaluation avancés des modèles Ollama constituent un cours approfondi axé sur le diagnostic, les tests et la mesure du comportement des modèles lors de déploiements locaux ou privés d'Ollama.
Cette formation en direct, dirigée par un formateur (en ligne ou en présentiel), s'adresse aux ingénieurs IA avancés, aux professionnels du MLOps et aux praticiens QA qui souhaitent garantir la fiabilité, la fidélité et la prête opérationnelle des modèles basés sur Ollama en production.
À l'issue de cette formation, les participants seront capables de :
- Effectuer un débogage systématique des modèles hébergés par Ollama et reproduire de manière fiable les modes de défaillance.
- Concevoir et exécuter des pipelines d'évaluation robustes intégrant des métriques quantitatives et qualitatives.
- Mettre en œuvre l'observabilité (logs, traces, métriques) pour surveiller la santé des modèles et la dérive.
- Automatiser les tests, la validation et les vérifications de régression intégrés aux pipelines CI/CD.
Format du cours
- Conférences interactives et discussions.
- Pratiques et exercices de débogage sur des déploiements Ollama.
- Études de cas, sessions de résolution de problèmes en groupe et ateliers d'automatisation.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.
Créer des workflows d'IA privée avec Ollama
14 HeuresCette formation en présentiel ou à distance en Belgique, animée par un instructeur, s'adresse aux professionnels de niveau avancé souhaitant mettre en œuvre des workflows d'IA sécurisés et efficaces grâce à Ollama.
À l'issue de cette formation, les participants seront capables de :
- Déployer et configurer Ollama pour un traitement d'IA privé.
- Intégrer des modèles d'IA dans des workflows d'entreprise sécurisés.
- Optimiser les performances de l'IA tout en préservant la confidentialité des données.
- Automatiser les processus métier grâce aux capacités d'IA sur site.
- Assurer le respect des politiques de sécurité et de gouvernance de l'entreprise.
Déploiement et optimisation des LLM avec Ollama
14 HeuresCette formation en présentiel ou à distance, encadrée par un formateur, en Belgique, s'adresse aux professionnels de niveau intermédiaire souhaitant déployer, optimiser et intégrer des LLM à l'aide d'Ollama.
À l'issue de cette formation, les participants seront capables de :
- Mettre en place et déployer des LLM à l'aide d'Ollama.
- Optimiser les modèles d'IA pour les performances et l'efficacité.
- Exploiter l'accélération GPU pour améliorer les vitesses d'inférence.
- Intégrer Ollama dans les workflows et applications.
- Surveiller et maintenir les performances des modèles d'IA au fil du temps.
EXO : Déploiement local d'un cluster d'IA de bout en bout
21 HeuresCette formation en présentiel ou à distance animée par un formateur, disponible dans Belgique, s'adresse aux administrateurs système et ingénieurs DevOps souhaitant déployer, configurer et gérer des clusters EXO pour l'inférence privée de LLMs sur plusieurs nœuds Apple Silicon ou Linux.
EXO pour DevOps : construire une infrastructure IA privée
21 HeuresCette formation en présentiel ou en ligne, dispensée par un formateur, dans Belgique est destinée aux ingénieurs DevOps et architectes infrastructure souhaitant automatiser le provisionnement, la surveillance et la gestion du cycle de vie des clusters IA privés basés sur EXO.
Sécurité et gouvernance EXO : Gestion des modèles hors ligne
14 HeuresCette formation en présentiel ou en ligne, animée par un instructeur, en Belgique s'adresse aux ingénieurs en sécurité et aux responsables de la conformité qui souhaitent renforcer les déploiements EXO, contrôler l'accès aux modèles et gouverner les charges de travail IA exécutées entièrement sur site.
Ajustement fin et personnalisation des modèles d'IA sur Ollama
14 HeuresCette formation en présentiel ou en ligne Belgique est destinée aux professionnels de niveau avancé souhaitant ajuster finement et personnaliser des modèles d'IA sur Ollama pour améliorer les performances et les applications spécifiques à un domaine.
À l'issue de cette formation, les participants seront capables de :
- Mettre en place un environnement efficace pour l'ajustement fin des modèles d'IA sur Ollama.
- Préparer des jeux de données pour l'ajustement fin supervisé et l'apprentissage par renforcement.
- Optimiser les modèles d'IA pour la performance, la précision et l'efficacité.
- Déployer des modèles personnalisés dans des environnements de production.
- Évaluer les améliorations des modèles et garantir leur robustesse.
Intelligence Artificielle Agente Sécurisée Localement : Développement Ollama en Interne pour les Secteurs Réglementés
21 HeuresCette formation animée par un instructeur en Belgique (en ligne ou en présentiel) s'adresse aux développeurs et aux équipes techniques souhaitant utiliser Ollama et des modèles ouverts pour développer et exécuter des solutions d'IA agente privée sur une infrastructure interne.
À l'issue de cette formation, les participants seront capables d'installer et de configurer Ollama, d'évaluer et d'exécuter des modèles locaux, de créer des flux de travail agiles et basés sur la récupération, et d'appliquer des contrôles de sécurité et de gouvernance pour les environnements réglementés.
Applications multimodales avec Ollama
21 HeuresOllama est une plateforme permettant d'exécuter et d'affiner localement des modèles de langage larges (LLM) et multimodaux.
Cette formation animée par un instructeur (en ligne ou en présentiel) s'adresse aux ingénieurs ML avancés, aux chercheurs en IA et aux développeurs de produits souhaitant concevoir et déployer des applications multimodales avec Ollama.
À l'issue de cette formation, les participants seront en mesure de :
- Configurer et exécuter des modèles multimodaux avec Ollama.
- Intégrer des entrées textuelles, image et audio pour des applications réelles.
- Construire des systèmes de compréhension de documents et de QA visuelle.
- Développer des agents multimodaux capables de raisonner à travers différentes modalités.
Format du cours
- Conférence interactive et discussion.
- Pratique directe avec des jeux de données multimodaux réels.
- Mise en œuvre en direct-lab de pipelines multimodaux à l'aide d'Ollama.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour convenir des détails.
Prendre en main Ollama : exécuter des modèles d'IA locaux
7 HeuresCette formation animée par un instructeur à Belgique (en ligne ou en présentiel) s'adresse aux professionnels débutants souhaitant installer, configurer et utiliser Ollama pour faire fonctionner des modèles d'IA sur leurs machines locales.
À l'issue de cette formation, les participants seront capables de :
- Comprendre les fondamentaux d'Ollama et ses fonctionnalités.
- Mettre en place Ollama pour exécuter des modèles d'IA locaux.
- Déployer et interagir avec des LLM à l'aide d'Ollama.
- Optimiser les performances et l'utilisation des ressources pour les charges de travail d'IA.
- Explorer des cas d'usage du déploiement d'IA locale dans divers secteurs.
Ollama et confidentialité des données : modèles de déploiement sécurisés
14 HeuresOllama est une plateforme qui permet d’exécuter localement des modèles de langage larges et multimodaux, tout en soutenant des stratégies de déploiement sécurisées.
Cette formation animée par un instructeur (en ligne ou sur site) s’adresse aux professionnels de niveau intermédiaire souhaitant déployer Ollama avec des mesures robustes de protection des données et de conformité réglementaire.
À l’issue de cette formation, les participants seront en mesure de :
- Déployer Ollama de manière sécurisée dans des environnements conteneurisés et sur site.
- Appliquer des techniques de confidentialité différentielle pour protéger les données sensibles.
- Mettre en œuvre des pratiques sécurisées de journalisation, de surveillance et d’audit.
- Enforcer le contrôle d’accès aux données conformément aux exigences de conformité.
Format de la formation
- Cours interactifs et débats.
- Ateliers pratiques axés sur des modèles de déploiement sécurisés.
- Études de cas et exercices pratiques centrés sur la conformité.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de convenir des modalités.
Applications d'Ollama dans la finance
14 HeuresOllama est une plateforme légère permettant d'exécuter des grands modèles de langage (LLM) en local.
Cette formation animée par un instructeur (en ligne ou sur site) s'adresse aux professionnels intermédiaires de la finance et au personnel informatique souhaitant mettre en œuvre, personnaliser et déployer des solutions d'IA basées sur Ollama dans des environnements financiers.
À l'issue de cette formation, les participants seront en mesure de :
- Déployer et configurer Ollama pour un usage sécurisé dans les opérations financières.
- Intégrer des LLM locaux dans les flux de travail d'analyse et de reporting.
- Adapter les modèles au vocabulaire et aux tâches spécifiques au secteur financier.
- Appliquer les bonnes pratiques en matière de sécurité, de confidentialité et de conformité.
Format de la formation
- Cours interactif et discussions.
- Exercions pratiques sur des données financières.
- Mise en œuvre en direct-lab de scénarios axés sur la finance.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.
Applications d'Ollama dans le secteur de la santé
14 HeuresOllama est une plateforme légère permettant d'exécuter des modèles de langage volumineux (LLM) en local.
Cette formation en présentiel ou à distance, animée par un formateur expert, s'adresse aux professionnels de la santé et aux équipes informatiques de niveau intermédiaire souhaitant déployer, personnaliser et intégrer des solutions IA basées sur Ollama dans des environnements cliniques et administratifs.
À l'issue de cette formation, les participants seront capables de :
- Installer et configurer Ollama pour un usage sécurisé dans les établissements de santé.
- Intégrer des LLM locaux dans les workflows cliniques et les processus administratifs.
- Personnaliser les modèles pour qu'ils correspondent à la terminologie et aux tâches spécifiques au secteur de la santé.
- Appliquer les bonnes pratiques en matière de confidentialité, de sécurité et de conformité réglementaire.
Format de la formation
- Cours interactif et débats.
- Démonstrations pratiques et exercices guidés.
- Mise en œuvre concrète dans un environnement de simulation de soins de santé isolé.
Options de personnalisation de la formation
- Pour demander une formation sur mesure pour ce cours, veuillez nous contacter pour en convenir.
Ollama pour une IA responsable et gouvernance
14 HeuresOllama est une plateforme permettant d'exécuter localement des modèles de langage large (LLM) et multimodaux, tout en soutenant les pratiques de gouvernance et d'IA responsable.
Cette formation en présentiel ou en ligne, encadrée par un formateur, s'adresse aux professionnels de niveau intermédiaire à avancé souhaitant mettre en œuvre l'équité, la transparence et la reddition des comptes dans des applications propulsées par Ollama.
À l'issue de cette formation, les participants seront capables de :
- Appliquer les principes de l'IA responsable lors des déploiements Ollama.
- Mettre en œuvre des stratégies de filtrage du contenu et d'atténuation des biais.
- Concevoir des flux de travail de gouvernance pour l'alignement des modèles et leur traçabilité.
- Établir des cadres de surveillance et de reporting pour la conformité.
Format de la formation
- Cours interactifs et discussions.
- Ateliers pratiques sur la conception de flux de travail de gouvernance.
- Études de cas et exercices axés sur la conformité.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de convenir des modalités.
IA souveraine pour les organisations régulées : Contrôle des données, des modèles et des environnements d'inférence
7 HeuresCette formation en direct, animée par un instructeur, en Belgique (en ligne ou sur site), s'adresse aux dirigeants informatiques intermédiaires, aux professionnels de la conformité, aux équipes de sécurité et aux architectes d'entreprise qui souhaitent utiliser les principes de l'IA souveraine et les pratiques de gouvernance pour concevoir des environnements d'IA protégeant les données sensibles, répondant aux exigences de localisation et réduisant la dépendance aux fournisseurs.
À l'issue de cette formation, les participants seront capables d'expliquer les concepts d'IA souveraine, d'évaluer les options d'hébergement et de gouvernance, de définir des contrôles pour les invites et les journaux, et d'élaborer une feuille de route pratique d'adoption.