Formation Déploiement de Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts
Déployer Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts est un cours pratique sur la mise en service fiable des modèles Tencent Hunyuan à grande échelle.
Cette formation animée par un instructeur (en ligne ou sur site) s'adresse aux ingénieurs et architectes de niveau intermédiaire souhaitant utiliser Tencent Hunyuan pour déployer des modèles volumineux et MoE avec une latence plus faible, une meilleure utilisation des GPU et des coûts d'exploitation maîtrisés.
À l'issue de cette formation, les participants seront capables de :
- expliquer les principaux défis de production liés au déploiement des modèles Tencent Hunyuan.
- appliquer des techniques pratiques d'optimisation de l'inférence telles que TensorRT, le réglage du KV-cache, la quantification et le batching.
- concevoir une approche de déploiement évolutive incluant l'autoscaling, la surveillance et la planification de la capacité.
- améliorer les compromis entre latence et coûts pour des charges de travail réelles en production.
Format du cours
- Cours interactif et discussions.
- De nombreux exercices et mises en pratique.
- Mise en œuvre concrète dans un environnement de laboratoire live.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
Plan du cours
Fondamentaux du déploiement de Tencent Hunyuan en production
- Vue d'ensemble des scénarios de serving des modèles Tencent Hunyuan.
- Caractéristiques de production des modèles volumineux et MoE.
- Goulots d'étranglement courants en matière de latence, de débit et de coûts.
- Définition des objectifs de niveau de service (SLO) pour les charges de travail d'inférence.
Architecture de déploiement et flux de serving
- Composants principaux de la pile d'inférence en production.
- Choix entre les modèles de déploiement conteneurisés, on-premise et cloud.
- Fondamentaux du chargement des modèles, du routage des requêtes et de l'allocation des GPU.
- Conception pour la fiabilité et la simplicité opérationnelle.
Optimisation de la latence en pratique
- Utilisation de moteurs d'inférence optimisés tels que TensorRT, lorsque cela est applicable.
- Concepts du KV-cache et réglage pratique du cache.
- Réduction des temps de démarrage, de warmup et de la surcharge de réponse.
- Mesure du temps jusqu'au premier jeton et de la vitesse de génération des jetons.
Débit, batching et efficacité GPU
- Stratégies de continuous batching et de request batching.
- Gestion de la concurrence et du comportement des files d'attente.
- Amélioration de l'utilisation des GPU sans nuire à l'expérience utilisateur.
- Gestion des requêtes à long contexte et des charges de travail mixtes.
Quantification et maîtrise des coûts
- Pourquoi la quantification est cruciale pour le serving en production.
- Compromis pratiques entre FP16, INT8 et autres options de précision courantes.
- Équilibre entre qualité du modèle, latence et coûts d'infrastructure.
- Réalisation d'une checklist simple pour l'optimisation des coûts.
Opérations, surveillance et revue de préparation
- Déclencheurs d'autoscaling pour les services d'inférence.
- Surveillance de la latence, du débit, de l'utilisation du cache et de la santé des GPU.
- Fondamentaux de la journalisation (logging), des alertes et de la gestion des incidents.
- Revue d'un déploiement de référence et création d'un plan d'amélioration.
Pré requis
- Compréhension de base des workflows de déploiement et d'inférence des grands modèles de langage (LLM).
- Expérience avec les conteneurs, l'infrastructure cloud ou on-premise, et les services basés sur des API.
- Connaissance pratique de Python ou des tâches d'ingénierie système.
Public cible
- Ingénieurs ML déployant des LLM en production.
- Ingénieurs plateforme responsables des services d'inférence basés sur GPU.
- Architectes solution conçant des plateformes de serving IA évolutives.
Les formations ouvertes requièrent plus de 3 participants.
Formation Déploiement de Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts - Réservation
Formation Déploiement de Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts - Demande de renseignements
Déploiement de Tencent Hunyuan en production : inférence à faible latence et optimisation des coûts - Demande d'informations consulting
Cours à venir
Cours Similaires
LangGraph Avancé : Optimisation, Débogage et Surveillance de Graphes Complexe
35 HeuresLangGraph est un framework permettant de construire des applications LLM multicanales et persistantes sous forme de graphes composites, dotés d'un état persistant et d'un contrôle précis de l'exécution.
Cette formation en présentiel ou à distance, animée par un instructeur, s'adresse aux ingénieurs de plateforme IA de niveau avancé, aux DevOps spécialisés en IA et aux architectes ML souhaitant optimiser, déboguer, surveiller et exploiter des systèmes LangGraph de qualité production.
À l'issue de cette formation, les participants seront capables de :
- Concevoir et optimiser des topologies LangGraph complexes pour la rapidité, les coûts et l'évolutivité.
- Garantir la fiabilité grâce aux mécanismes de nouvelle tentative (retries), aux délais d'expiration, à l'idempotence et à la reprise basée sur des points de contrôle.
- Déboguer et tracer l'exécution des graphes, inspecter l'état et reproduire systématiquement les problèmes en environnement production.
- Instrumenter les graphes avec des journaux, des métriques et des traces, déployer en production et surveiller les SLA ainsi que les coûts.
Format de la formation
- Cours interactifs et discussions.
- Nombreux exercices et pratique.
- Mise en œuvre concrète dans un environnement de laboratoire en temps réel.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.
Création d'agents de codage avec Devstral : de la conception d'agents aux outils
14 HeuresDevstral est un framework open-source conçu pour créer et exécuter des agents de codage capables d'interagir avec des bases de code, des outils de développement et des APIs afin d'améliorer la productivité des ingénieurs.
Cette formation en direct dirigée par un instructeur (en ligne ou en présentiel) s'adresse aux ingénieurs ML de niveau intermédiaire à avancé, aux équipes d'outils de développement et aux SRE qui souhaitent concevoir, implémenter et optimiser des agents de codage à l'aide de Devstral.
À l'issue de cette formation, les participants seront capables de :
- Configurer et paramétrer Devstral pour le développement d'agents de codage.
- Concevoir des workflows agents pour l'exploration et la modification des bases de code.
- Intégrer les agents de codage avec les outils de développement et les APIs.
- Appliquer les meilleures pratiques pour un déploiement sécurisé et efficace des agents.
Format de la formation
- Cours interactifs et débats.
- Nombreux exercices et mises en pratique.
- Implémentation concrète dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
Open-Source Model Ops : Auto-hébergement, affinement et gouvernance avec les modèles Devstral et Mistral
14 HeuresLes modèles Devstral et Mistral sont des technologies d'IA open-source conçues pour un déploiement flexible, un affinement et une intégration évolutive.
Ce formation en présentiel (en ligne ou sur site) s'adresse aux ingénieurs ML de niveau intermédiaire à avancé, aux plateformes d'ingénierie et aux ingénieurs de recherche souhaitant auto-héberger, affiner et gouverner les modèles Mistral et Devstral dans des environnements de production.
À l'issue de cette formation, les participants seront en mesure de :
- Configurer et déployer des environnements auto-hébergés pour les modèles Mistral et Devstral.
- Appliquer des techniques d'affinement pour optimiser les performances spécifiques à un domaine.
- Mettre en œuvre la gestion de versions, le suivi et la gouvernance du cycle de vie.
- Assurer la sécurité, la conformité et l'utilisation responsable des modèles open-source.
Format de la formation
- Cours interactifs et discussions.
- Exercices pratiques sur l'auto-hébergement et l'affinement.
- Mise en œuvre en direct de pipelines de gouvernance et de surveillance.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de coordonner.
Applications de LangGraph dans le secteur financier
35 HeuresLangGraph est un cadre de travail permettant de concevoir des applications LLM multi-acteurs avec état, sous forme de graphes composites disposant d'un état persistant et d'un contrôle sur l'exécution.
Cette formation en direct, encadrée par un formateur (en ligne ou sur site), s'adresse à des professionnels de niveau intermédiaire à avancé souhaitant concevoir, mettre en œuvre et gérer des solutions financières basées sur LangGraph, en garantissant une gouvernance, une observabilité et une conformité appropriées.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des flux de travail LangGraph spécifiques au secteur financier, conformes aux exigences réglementaires et aux audits.
- Intégrer les normes et ontologies des données financières dans l'état des graphes et les outils associés.
- Mettre en œuvre des contrôles de fiabilité, de sécurité et des mécanismes d'intervention humaine pour les processus critiques.
- Déployer, surveiller et optimiser les systèmes LangGraph pour garantir des performances, un coût maîtrisé et le respect des SLA.
Format de la formation
- Cours interactif et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
Fondamentaux de LangGraph : Saisonnage d’invocations et enchaînement de LLM basés sur les graphes
14 HeuresLangGraph est un cadre de travail pour créer des applications LLM structurées sous forme de graphes, offrant la planification, la bifurcation, l’utilisation d’outils, la mémoire et un exécution contrôlable.
Ce cours en présentiel (en ligne ou sur site) est destiné aux développeurs débutants, ingénieurs en prompt et professionnels des données souhaitant concevoir et mettre en place des workflows LLM multi-étapes fiables à l’aide de LangGraph.
À l’issue de cette formation, les participants seront capables de :
- Expliquer les concepts fondamentaux de LangGraph (nœuds, arêtes, état) et leurs cas d’utilisation.
- Construire des chaînes d’invocations capables de se bifurquer, d’appeler des outils et de maintenir la mémoire.
- Intégrer le processus de retrieval et des API externes dans des workflows structurés en graphe.
- Tester, déboguer et évaluer des applications LangGraph pour garantir fiabilité et sécurité.
Format du cours
- Conférence interactive et discussions guidées.
- Labos guidés et parcours de code dans un environnement sandbox.
- Exercices basés sur des scénarios de conception, tests et évaluation.
Options de personnalisation du cours
- Pour demander une formation personnalisée, veuillez nous contacter afin d’organiser cela.
LangGraph dans la santé : orchestration de flux de travail pour les environnements réglementés
35 HeuresLangGraph permet de créer des flux de travail étatful (état conservé) multi-acteurs, alimentés par des LLM, avec un contrôle précis des chemins d’exécution et de la persistance des données. Dans le secteur de la santé, ces capacités sont essentielles pour assurer la conformité, l’interopérabilité et le développement de systèmes d’aide à la décision alignés sur les flux de travail médicaux.
Cette formation en présentiel ou à distance, animée par un formateur, s’adresse aux professionnels de niveau intermédiaire à avancé souhaitant concevoir, mettre en œuvre et gérer des solutions de santé basées sur LangGraph, tout en relevant les défis réglementaires, éthiques et opérationnels.
À l’issue de cette formation, les participants seront capables de :
- Concevoir des workflows LangGraph spécifiques au secteur de la santé en ayant à l’esprit la conformité et la traçabilité.
- Intégrer des applications LangGraph avec les ontologies et normes médicales (FHIR, SNOMED CT, ICD).
- Appliquer les bonnes pratiques de fiabilité, de traçabilité et d’explicabilité dans des environnements sensibles.
- Déployer, surveiller et valider des applications LangGraph dans des environnements de production healthcare.
Format de la formation
- Cours interactif et séances de discussion.
- Exercices pratiques avec des études de cas réels.
- Pratique de mise en œuvre dans un environnement de laboratoire en temps réel.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d’organiser cela.
LangGraph pour les applications juridiques
35 HeuresLangGraph est un framework permettant de construire des applications LLM stateful multi-agents sous forme de graphes composables, avec un état persistant et un contrôle précis de l'exécution.
Cette formation en présentiel ou à distance, dispensée par un formateur expert, s'adresse aux professionnels de niveau intermédiaire à avancé souhaitant concevoir, implémenter et exploiter des solutions juridiques basées sur LangGraph, tout en intégrant les contrôles de conformité, de traçabilité et de gouvernance nécessaires.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des workflows LangGraph spécifiques au domaine juridique, en préservant l'auditabilité et la conformité.
- Intégrer des ontologies juridiques et des normes documentaires dans l'état du graphe et le traitement des données.
- Implémenter des garde-fous, des validations humaines et des chemins de décision traçables.
- Déployer, monitorer et maintenir les services LangGraph en production, avec des capacités d'observabilité et de maîtrise des coûts.
Format de la formation
- Cours interactif et discussions.
- Nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée sur ce sujet, veuillez nous contacter afin d'en convenir.
Construire des flux de travail dynamiques avec LangGraph et des agents LLM
14 HeuresLangGraph est un cadre de travail pour composer des flux de travail basés sur des graphiques qui prennent en charge les branches, l'utilisation d'outils, la mémoire et l'exécution contrôlable.
Cette formation animée par un instructeur (en ligne ou en présentiel) s'adresse aux ingénieurs de niveau intermédiaire et aux équipes produit qui souhaitent combiner la logique de graphiques de LangGraph avec les boucles d'agents LLM pour construire des applications dynamiques et sensibles au contexte, telles que des agents de support client, des arbres de décision et des systèmes de récupération d'informations.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des flux de travail basés sur des graphiques qui coordonnent les agents LLM, les outils et la mémoire.
- Mettre en œuvre un routage conditionnel, des tentatives de reprise et des solutions de secours pour une exécution robuste.
- Intégrer la récupération, les APIs et les sorties structurées dans les boucles d'agents.
- Évaluer, surveiller et renforcer le comportement des agents pour garantir fiabilité et sécurité.
Format du cours
- Cours interactif et discussion animée.
- Pratiques guidées et explications de code dans un environnement de type bac à sable.
- Exercices de conception basés sur des scénarios et revues par les pairs.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.
LangGraph pour l'automatisation du marketing
14 HeuresLangGraph est un framework d'orchestration basé sur les graphes qui permet de concevoir des workflows conditionnels et multi-étapes impliquant des LLM et des outils, idéal pour automatiser et personnaliser les pipelines de contenu.
Cette formation en présentiel ou en ligne, animée par un instructeur, s'adresse aux marketeurs de niveau intermédiaire, stratèges en contenu et développeurs en automatisation souhaitant mettre en œuvre des campagnes d'e-mailing dynamiques avec des branchements complexes ainsi que des pipelines de génération de contenu à l'aide de LangGraph.
À l'issue de cette formation, les participants seront capables de :
- Concevoir des workflows de contenu et d'e-mailing structurés sous forme de graphe avec une logique conditionnelle.
- Intégrer des LLM, des API et des sources de données pour une personnalisation automatisée.
- Gérer l'état, la mémoire et le contexte au sein de campagnes multi-étapes.
- Évaluer, surveiller et optimiser les performances des workflows et les résultats de livraison.
Format de la formation
- Conférences interactives et discussions de groupe.
- Travaux pratiques sur la mise en œuvre de workflows d'e-mailing et de pipelines de contenu.
- Exercices basés sur des scénarios traitant de la personnalisation, du segmentation et de la logique de branchement.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.
Le Chat Enterprise : ChatOps privé, intégrations et contrôles administratifs
14 HeuresLe Chat Enterprise est une solution de ChatOps privée offrant des capacités d'IA conversationnelle sécurisées, personnalisables et gouvernées pour les organisations. Elle prend en charge les contrôles d'accès basés sur les rôles (RBAC), l'authentification unique (SSO), les connecteurs ainsi que l'intégration avec des applications d'entreprise.
Cette formation pratique, animée par un instructeur (en ligne ou sur site), s'adresse aux chefs de produit de niveau intermédiaire, aux responsables informatiques, aux ingénieurs solution et aux équipes sécurité/conformité souhaitant déployer, configurer et gouverner Le Chat Enterprise dans des environnements d'entreprise.
À l'issue de cette formation, les participants seront en mesure de :
- Installer et configurer Le Chat Enterprise pour des déploiements sécurisés.
- Activer le RBAC, le SSO ainsi que les contrôles liés à la conformité.
- Intégrer Le Chat Enterprise aux applications et aux bases de données d'entreprise.
- Concevoir et mettre en œuvre des jeux de rôles administratifs et des playbook de gouvernance pour le ChatOps.
Format du cours
- Cours interactif et débats.
- De nombreux exercices et mises en pratique.
- Implémentation concrète dans un environnement de laboratoire en direct.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.
Architectures de LLM économiques : Mistral à grande échelle (Ingénierie des performances et des coûts)
14 HeuresMistral est une famille de grands modèles de langage haute performance, optimisée pour un déploiement en production à grande échelle de manière économique.
Cette formation en direct, animée par un formateur (en ligne ou en présentiel), s'adresse aux ingénieurs infrastructure avancés, aux architectes cloud et aux responsables MLOps qui souhaitent concevoir, déployer et optimiser des architectures basées sur Mistral pour maximiser le débit et minimiser les coûts.
À l'issue de cette formation, les participants seront capables de :
- Mettre en œuvre des modèles de déploiement évolutifs pour Mistral Medium 3.
- Appliquer le regroupement (batching), la quantification et des stratégies de service efficaces.
- Optimiser les coûts d'inférence tout en maintenant la performance.
- Concevoir des topologies de service prêtes pour la production destinées aux charges de travail d'entreprise.
Format de la formation
- Cours interactif et discussion.
- De nombreux exercices et mises en pratique.
- Implémentation pratique dans un environnement de lab interactif.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en convenir.
Industrialisation des assistants conversationnels avec Mistral Connectors & Integrations
14 HeuresMistral AI est une plateforme IA ouverte qui permet aux équipes de créer et d’intégrer des assistants conversationnels dans des workflows professionnels et destinés à la clientèle.
Cette formation en présentiel ou à distance, encadrée par un formateur, s’adresse aux chefs de produit et aux développeurs full-stack de niveau débutant à intermédiaire, ainsi qu’aux ingénieurs d’intégration souhaitant concevoir, intégrer et industrialiser des assistants conversationnels grâce aux connecteurs et intégrations de Mistral.
À l’issue de cette formation, les participants seront capables de :
- Intégrer des modèles conversationnels Mistral avec des connecteurs d’entreprise et de logiciels SaaS.
- Mettre en œuvre la génération augmentée par récupération (RAG) pour des réponses étayées.
- Concevoir des patterns d’expérience utilisateur (UX) pour des assistants de chat internes et externes.
- Déployer des assistants dans des workflows produit pour des cas d’usage concrets.
Format de la formation
- Cours interactif et échanges.
- Exercices pratiques d’intégration.
- Développement en direct d’assistants conversationnels en atelier.
Possibilités de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d’organiser cela.
Déploiements de niveau entreprise avec Mistral Medium 3
14 HeuresMistral Medium 3 est un modèle de langage large multimodal haute performance, conçu pour un déploiement de qualité production au sein d'environnements d'entreprise.
Cette formation en présentiel (en ligne ou sur site) s'adresse aux ingénieurs IA/ML de niveau intermédiaire à avancé, aux architectes plateformes et aux équipes MLOps qui souhaitent déployer, optimiser et sécuriser Mistral Medium 3 pour des cas d'usage en entreprise.
À l'issue de cette formation, les participants seront capables de :
- Déployer Mistral Medium 3 via des options API ou en auto-hébergement.
- Optimiser les performances et les coûts d'inférence.
- Mettre en œuvre des cas d'usage multimodaux avec Mistral Medium 3.
- Appliquer les meilleures pratiques en matière de sécurité et de conformité pour les environnements d'entreprise.
Format de la formation
- Cours interactif et débats.
- De nombreux exercices et mises en pratique.
- Mise en œuvre pratique dans un environnement de laboratoire en direct.
Options de personnalisation de la formation
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser les détails.
Mistral pour une IA responsable : confidentialité, résidence des données et contrôles d’entreprise
14 HeuresMistral AI est une plateforme d’IA ouverte et prête pour l’entreprise, offrant des fonctionnalités pour un déploiement d’IA sécurisé, conforme et responsable.
Cette formation animée par un instructeur (en ligne ou sur site) s’adresse aux responsables de la conformité, aux architectes sécurité et aux parties prenantes juridiques et opérationnelles de niveau intermédiaire, souhaitant mettre en œuvre des pratiques d’IA responsable avec Mistral en exploitant les mécanismes de confidentialité, de résidence des données et de contrôle d’entreprise.
À l’issue de cette formation, les participants seront capables de :
- Mettre en œuvre des techniques préservant la vie privée dans les déploiements Mistral.
- Appliquer des stratégies de résidence des données pour se conformer aux exigences réglementaires.
- Configurer des contrôles de niveau entreprise, tels que le RBAC, le SSO et les journaux d’audit.
- Évaluer les options de fournisseurs et de déploiement pour assurer l’alignement avec la conformité.
Format du cours
- Conférence interactive et discussions.
- Études de cas et exercices axés sur la conformité.
- Mise en pratique des contrôles d’IA d’entreprise.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en convenir.
Applications multimodales avec les modèles Mistral (Vision, OCR et compréhension de documents)
14 HeuresLes modèles Mistral sont des technologies d'IA open-source qui s'étendent désormais aux workflows multimodaux, prenant en charge à la fois les tâches linguistiques et visuelles pour les applications d'entreprise et de recherche.
Cette formation animée par un instructeur (en ligne ou en présentiel) s'adresse aux chercheurs en ML de niveau intermédiaire, aux ingénieurs appliqués et aux équipes produit qui souhaitent développer des applications multimodales avec les modèles Mistral, notamment des pipelines OCR et de compréhension de documents.
À l'issue de cette formation, les participants seront capables de :
- Mettre en place et configurer les modèles Mistral pour des tâches multimodales.
- Implémenter des workflows OCR et les intégrer à des pipelines de traitement du langage naturel (NLP).
- Concevoir des applications de compréhension de documents adaptées aux cas d'usage d'entreprise.
- Développer des fonctionnalités de recherche text-image et des interfaces utilisateur d'assistance.
Format du cours
- Cours interactif et discussion.
- Exercices pratiques de codage.
- Mise en œuvre en laboratoire en direct de pipelines multimodaux.
Options de personnalisation du cours
- Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.
