Plan du cours

Préparation des modèles d'apprentissage automatique pour le déploiement

  • Emballage des modèles avec Docker
  • Exportation des modèles de TensorFlow et PyTorch
  • Considérations sur la versionning et le stockage

Service de modèles sur Kubernetes

  • Aperçu des serveurs d'inférence
  • Déploiement de TensorFlow Serving et TorchServe
  • Configuration des points de terminaison de modèles

Techniques d'optimisation de l'inférence

  • Stratégies de batch
  • Gestion des requêtes concurrentes
  • Ajustement de la latence et du débit

Auto-échelonnage des charges de travail ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Provisionnement et gestion des ressources GPU

  • Configuration des nœuds GPU
  • Vue d'ensemble du plugin de dispositif NVIDIA
  • Demandes et limites de ressources pour les charges de travail ML

Stratégies de déploiement et de mise en production des modèles

  • Déploiements bleu/vert
  • Modèles de déploiement canary
  • Tests A/B pour l'évaluation des modèles

Surveillance et observabilité de l'IA en production

  • Métriques pour les charges de travail d'inférence
  • Pratiques de journalisation et de traçage
  • Tableaux de bord et alertes

Considérations sur la sécurité et la fiabilité

  • Sécurisation des points de terminaison de modèles
  • Politiques réseau et contrôle d'accès
  • Assurance de la haute disponibilité

Résumé et étapes suivantes

Pré requis

  • Une compréhension des flux de travail d'applications conteneurisées
  • Une expérience avec les modèles d'apprentissage automatique basés sur Python
  • Une familiarité avec les principes fondamentaux de Kubernetes

Public cible

  • Ingénieurs en apprentissage automatique (ML)
  • Ingénieurs DevOps
  • Équipes d'ingénierie de plateforme
 14 Heures

Nombre de participants


Prix par participant

Nos clients témoignent (5)

Cours à venir

Catégories Similaires


Fatal error: Uncaught TypeError: _isl_get_excluded_site(): Return value must be of type ?array, none returned in /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc:38 Stack trace: #0 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc(30): _isl_get_excluded_site() #1 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc(17): isl_get_excluded_site() #2 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/islc7.module(51): get_outline_isls() #3 /apps/hitra7/backdrop/modules/_custom/frontend/islc7/islc7.module(7): islc_prepare_links() #4 /apps/hitra7/npfrontend/nptemplates/default.php(272): islc7_sites_links_array_v3() #5 /apps/hitra7/npfrontend/modules/course/course.php(143): require_once('...') #6 /apps/hitra7/npfrontend/core/routes.php(15): course_menu_callback() #7 /apps/hitra7/npfrontend/__index.php(81): require_once('...') #8 /apps/hitra7/npfrontend/index.php(15): include_once('...') #9 /apps/hitra7/index.php(66): include_once('...') #10 {main} thrown in /apps/hitra7/backdrop/modules/_custom/frontend/islc7/isl_common.inc on line 38