Plan du cours
Préparation des modèles de machine learning au déploiement
- Emballage des modèles avec Docker
- Exportation de modèles depuis TensorFlow et PyTorch
- Considérations relatives au versioning et au stockage
Servir des modèles sur Kubernetes
- Vue d'ensemble des serveurs d'inférence
- Déploiement de TensorFlow Serving et TorchServe
- Configuration des points de terminaison de modèles
Techniques d'optimisation de l'inférence
- Stratégies de groupement par lots (batching)
- Gestion des requêtes concurrentes
- Réglage de la latence et du débit
Autoscaling des charges de travail ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Approvisionnement GPU et gestion des ressources
- Configuration des nœuds GPU
- Vue d'ensemble du plugin de périphérique NVIDIA
- Demandes et limites de ressources pour les charges de travail ML
Stratégies de déploiement et de livraison des modèles
- Déploiements bleu/vert
- Modèles de déploiement canari
- Tests A/B pour l'évaluation des modèles
Surveillance et observabilité du ML en production
- Métriques pour les charges de travail d'inférence
- Pratiques de journalisation et de traçabilité
- Tableaux de bord et alertes
Considérations relatives à la sécurité et à la fiabilité
- Sécurisation des points de terminaison de modèles
- Politiques réseau et contrôle d'accès
- Garantie de haute disponibilité
Résumé et prochaines étapes
Pré requis
- Comprendre les workflows des applications conteneurisées.
- Expérience avec des modèles de machine learning basés sur Python.
- Connaissance des fondamentaux de Kubernetes.
Audience cible
- Ingénieurs ML
- Ingénieurs DevOps
- Équipes d'ingénierie de plateforme
Nos clients témoignent (3)
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Formation - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Comment les formateurs transmettent-ils efficacement leurs connaissances
Vu Thoai Le - Reply Polska sp. z o. o.
Formation - Certified Kubernetes Administrator (CKA) - exam preparation
Traduction automatique
Les connaissances et la patience de l'animateur pour répondre à nos questions.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Formation - Deploying Kubernetes Applications with Helm
Traduction automatique