Plan du cours
Fondements du déploiement d'IA hybride
- Compréhension des modèles de déploiement hybride, cloud et périphérie (edge)
- Caractéristiques des charges de travail d'IA et contraintes de l'infrastructure
- Choix de la topologie de déploiement adéquate
Conteneurisation des charges de travail d'IA avec Docker
- Construction de conteneurs d'inférence pour GPU et CPU
- Gestion des images et registres sécurisés
- Mise en œuvre d'environnements reproductibles pour l'IA
Déploiement des services d'IA vers les environnements Cloud
- Exécution de l'inférence sur AWS, Azure et GCP via Docker
- Provisionnement de ressources informatiques cloud pour le service de modèles (model serving)
- Sécurisation des points de terminaison (endpoints) d'IA dans le cloud
Techniques de déploiement Edge et on-premise
- Exécution de l'IA sur les appareils IoT, les passerelles et les micro-serveurs
- Runtimes légers pour les environnements edge
- Gestion de la connectivité intermittente et de la persistance locale
Réseau hybride et connectivité sécurisée
- Tunneling sécurisé entre l'edge et le cloud
- Certificats, secrets et accès basé sur des tokens
- Optimisation des performances pour une inférence à faible latence
Orchestration des déploiements d'IA distribués
- Utilisation de K3s, K8s ou d'orchestration légère pour les configurations hybrides
- Découverte de services et planification des charges de travail (workload scheduling)
- Automatisation des stratégies de déploiement multi-sites
Surveillance et observabilité à travers les environnements
- Suivi des performances d'inférence entre les différents sites
- Journalisation centralisée pour les systèmes d'IA hybrides
- Détection des pannes et récupération automatisée
Mise à l'échelle et optimisation des systèmes d'IA hybrides
- Mise à l'échelle des grappes edge et des nœuds cloud
- Optimisation de l'utilisation de la bande passante et du cache
- Équilibrage des charges informatiques entre le cloud et l'edge
Résumé et prochaines étapes
Pré requis
- Une compréhension des concepts de conteneurisation
- De l'expérience avec les opérations en ligne de commande sous Linux
- Une familiarité avec les workflows de déploiement de modèles d'IA
Audience cible
- Architectes infrastructure
- Ingénieurs Site Reliability (SREs)
- Développeurs Edge et IoT
Nos clients témoignent (3)
Comment les formateurs transmettent-ils efficacement leurs connaissances
Vu Thoai Le - Reply Polska sp. z o. o.
Formation - Certified Kubernetes Administrator (CKA) - exam preparation
Traduction automatique
le formateur avait beaucoup de connaissances et de patience à partager avec nous
Bogdan Olaru
Formation - Introduction to Docker
Traduction automatique
Les connaissances et les échanges avec Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Formation - Docker and Kubernetes
Traduction automatique