Cursusaanbod
Machine learning-modellen voor implementatie voorbereiden
- Modellen verpakken met Docker
- Modellen exporteren vanuit TensorFlow en PyTorch
- Overwegingen rondom versiebeheer en opslag
Model Serving op Kubernetes
- Overzicht van inferentieservers
- TensorFlow Serving en TorchServe implementeren
- Model-eindpunten configureren
Optimalisatietechnieken voor inferentie
- Batching-strategieën
- Afhandeling van gelijktijdige aanvragen
- Afstemmen van latentie en doorputsnelheid
Autoscaling van ML-workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-provisie en bronnemanagement
- GPU-knooppunten configureren
- Overzicht van de NVIDIA device plugin
- Bronverzoeken en limieten voor ML-workloads
Strategieën voor modelrollout en releasemanagement
- Blue/green implementaties
- Canary-rolloutpatronen
- A/B-testing voor modelevaluatie
Monitoring en observability van ML in productie
- Metrieken voor inferentieworkloads
- Praktijken voor logging en tracing
- Dashboards en alerteringsmechanismen
Overwegingen rondom beveiliging en betrouwbaarheid
- Beveiliging van modeleindpunten
- Netwerkbeleid en toegangsbeheer
- Hoge beschikbaarheid waarborgen
Samenvatting en vervolgstappen
Vereisten
- Een begrip van workflows voor gecontaineriseerde applicaties
- Ervaring met machine learning-modellen op basis van Python
- Kenning van de basisprincipes van Kubernetes
Publiek
- ML-ingenieurs
- DevOps-ingenieurs
- Platform engineering teams
Getuigenissen (2)
Zoals ik eerder al zei, was dit voor iemand als mij (zonder ervaring) een poort van doorbraak om functies en mogelijkheden van deze programma's en tools te begrijpen.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Cursus - Docker and Kubernetes
Automatisch vertaald
basisbegrip van containers/Kubernetes en hoe ze samenwerken eigenschappen van het OpenShift-platform
Eric Scholze - NOW IT GmbH
Cursus - Introduction to Containers, Kubernetes & OpenShift
Automatisch vertaald
