Ollama-schalen en optimalisatie van infrastructuur Training Cursus
Ollama is een platform dat het mogelijk maakt om grote taal- en multimodale modellen lokaal én op schaal te draaien.
Deze door een instructeur geleide, live-training (online of op locatie) richt zich op engineers met een gemiddelde tot gevorderde ervaring die Ollama willen schalen voor multi-user-omgevingen met een hoge doorvoer en kostenefficiëntie.
Aan het einde van deze training zijn de deelnemers in staat om te:
- Ollama zo te configureren dat het meerdere gebruikers ondersteunt en geschikt is voor gedistribueerde workloads.
- GPU- en CPU-bronnen optimaal toe te wijzen.
- Autoscaling-, batching- en vertragingsverminderingstechnieken toe te passen.
- De infrastructuur te monitoren en te optimaliseren voor zowel prestaties als kostenefficiëntie.
Opzet van de cursus
- Interactieve lezingen en discussies.
- Praktijkgerichte oefeningen in het implementeren en schalen van Ollama.
- Daadwerkelijke optimalisatie-oefeningen in live-omgevingen.
Mogelijkheden tot cursuscustomisatie
- Voor het aanvragen van een op maat gemaakte training kunt u contact met ons opnemen om de details af te spreken.
Cursusaanbod
Inleiding tot het schalen van Ollama
- De architectuur van Ollama en belangrijke aspecten bij schaling
- Veelvoorkomende knelpunten bij multi-user-implementaties
- Best practices voor voorbereiding van de infrastructuur
Resource-toewijzing en optimalisatie van GPU-gebruik
- Strategieën voor efficiënt gebruik van CPU/GPU-bronnen
- Overwegingen rond geheugen en bandbreedte
- Resourcebeperkingen op containerniveau
Implementatie met containers en Kubernetes
- Ollama in een Docker-container draaien
- Ollama uitvoeren binnen Kubernetes-clusters
- Load balancing en service discovery mechanismen
Autoscaling en batchverwerking
- Het ontwerpen van autoscaling-beleid voor Ollama
- Techieken voor het verwerken in batches om de doorvoer te optimaliseren
- Vergelijkende analyse tussen vertraging en doorvoer
Optimalisatie van systeemvertragingen
- Prestatiesanalyse bij inferentieverwerking
- Caching-technieken en het voorverwarmen van modellen
- Het verminderen van I/O- en communicatieoverhead
Monitoring en observability
- Het integreren van Prometheus voor het meten van prestaties
- Het maken van dashboards met behulp van Grafana
- Alerting- en incidentbeheerprocedures voor Ollama-infrastructuur
Kostenbeheer en schaalstrategieën
- GPU-toewijzing rekening houdend met kostenbesparing
- Overwegingen bij cloud- versus on-premises implementaties
- Blijvende schaalstrategieën voor duurzame groei
Samenvatting en volgende stappen
Vereisten
- Ervaring met Linux-systeembeheer
- Inzicht in containerisatie en orkestratie
- Bekendheid met het implementeren van machine learning-modellen
Doelgroep
- DevOps-engineers
- Teams voor ML-infrastructuur
- SRE’s (Site Reliability Engineers)
Voor open trainingen is een minimum aantal van 5 deelnemers vereist
Ollama-schalen en optimalisatie van infrastructuur Training Cursus - Boeking
Ollama-schalen en optimalisatie van infrastructuur Training Cursus - Navraag
Ollama-schalen en optimalisatie van infrastructuur - Consultancyaanvraag
Voorlopige Aankomende Cursussen
Gerelateerde cursussen
Geavanceerd Debuggen en Evalueren van Ollama-modellen
35 UrenDe cursus 'Geavanceerd Debuggen en Evalueren van Ollama-modellen' biedt een diepgaande introductie in het diagnosticeren, testen en beoordelen van het gedrag van modellen bij lokale of privé-Ollama-implementaties.
Deze live-training onder leiding van een instructeur (online of op locatie) is bedoeld voor AI-engineers met een gevorderd niveau, ML Ops-professionals en QA-experts die zich ervan willen vergewissen dat Ollama-modellen in productie betrouwbaar, nauwkeurig en operationeel geschikt zijn.
Aan het einde van deze cursus zullen de deelnemers in staat zijn tot:
- Systematisch debuggen van door Ollama gehoste modellen en het betrouwbaar reproduceren van foutscenario’s.
- Het ontwerpen en uitvoeren van robuuste evaluatiepijplijnen met zowel kwantitatieve als kwalitatieve meetmethoden.
- Het implementeren van observability (logs, traces en metingen) om de gezondheid en mogelijke afwijkingen van modellen te monitoren.
- Het automatiseren van tests, validaties en regressietesten die geïntegreerd zijn in CI/CD-pijplijnen.
Opzet van de cursus
- Interactieve lezingen en discussies.
- Praktijkgerichte laboratoria en debugging-oefeningen op basis van Ollama-implementaties.
- Case studies, groepsgewijze probleemoplossing en workshops over automatisering.
Aanpassingsmogelijkheden voor de cursus
- Indien u een maatwerktraining wenst, kunt u contact met ons opnemen om dit te regelen.
Het bouwen van privé AI-werkstromen met Ollama
14 UrenDeze praktijkgerichte training onder leiding van een instructeur België (online of ter plaatse) is gericht op professionals met gevorderde kennis die veilige en efficiënte, AI-gestuurde werkstromen willen implementeren via Ollama.
Na afloop van deze cursus zullen deelnemers in staat zijn om:
- Ollama te implementeren en te configureren voor privé AI-verwerking.
- AI-modellen te integreren in beveiligde bedrijfswerkstromen.
- De prestaties van AI te optimaliseren terwijl de privacy van gegevens behouden blijft.
- Bedrijfsprocessen te automatiseren met behulp van lokale AI-functionaliteiten.
- Te voldoen aan bedrijfsbeleid op het gebied van beveiliging en governance.
Het implementeren en optimaliseren van LLM’s met Ollama
14 UrenDeze door een instructeur geleide, live-training in België (online of op locatie) is bedoeld voor professionals met een gemiddelde technische achtergrond die LLM’s willen implementeren, optimaliseren en integreren met behulp van Ollama.
Aan het einde van deze training zullen deelnemers in staat zijn om:
- LLM’s op te zetten en te implementeren met behulp van Ollama.
- AI-modellen te optimaliseren voor betere prestaties en efficiëntie.
- Gebruik te maken van GPU-versnelling om de snelheid van inferentie te verbeteren.
- Ollama te integreren in workflows en applicaties.
- De prestaties van AI-modellen voortdurend te monitoren en te onderhouden.
Het afstemmen en aanpassen van AI-modellen op Ollama
14 UrenDeze door instructeurs geleide training (online of ter plaatse) is bedoeld voor ervaren professionals die AI-modellen op Ollama willen afstemmen en aanpassen om zo de prestaties te verhogen en modellen specifiek toe te snijden op bepaalde toepassingen.
Na afloop van deze training zullen deelnemers in staat zijn om:
- Een efficiënt werkomgeving op te zetten voor het finetunen van AI-modellen op Ollama.
- Datasets voor te bereiden ten behoeve van supervisie-gestuurd finetuning en versterkend leren.
- AI-modellen te optimaliseren wat betreft prestaties, nauwkeurigheid en efficiëntie.
- Aangepaste modellen in productieomgevingen uit te rollen.
- De verbeteringen aan de modellen te evalueren en hun robuustheid te waarborgen.
Multimodale toepassingen met Ollama
21 UrenOllama is een platform dat het mogelijk maakt om grote taal- en multimodale modellen lokaal te draaien en bij te stellen.
Deze praktijkgerichte, begeleide training (online of op locatie) richt zich op machine learning engineers, AI-onderzoekers en productontwikkelaars met gevorderde kennis die multimodale toepassingen willen ontwikkelen met behulp van Ollama.
Aan het einde van deze training zullen de deelnemers in staat zijn om te:
- Multimodale modellen instellen en draaien met Ollama.
- Tekst-, afbeeldings- en audiopartijen te integreren in echte toepassingen.
- Dokumentanalyse- en visuele vraag-beantwoordingssystemen te bouwen.
- Multimodale agents te ontwikkelen die kunnen redeneren over meerdere modi tegelijk.
Opzet van de cursus
- Interactieve lezingen en discussies.
- Praktische oefeningen met reële multimodale datasets.
- In het lab maken deelnemers direct gebruik van Ollama bij het implementeren van multimodale werkstromen.
Opties voor cursusaanpassing
- Wilt u een op maat gemaakte versie van deze training? Neem dan contact met ons op om de mogelijkheden te bespreken.
Aan de slag met Ollama: Lokaal AI-modellen draaien
7 UrenDeze door een instructeur geleide, live-training in België (online of ter plaatse) is bedoeld voor beginnende professionals die Ollama willen installeren, configureren en gebruiken om AI-modellen op hun eigen apparaten uit te voeren.
Na afloop van deze training kunnen de deelnemers:
- De basisprincipes van Ollama en zijn mogelijkheden begrijpen.
- Ollama instellen voor het draaien van lokale AI-modellen.
- LLM’s implementeren en er interactief mee werken via Ollama.
- De prestaties en het resourcegebruik bij AI-taken optimaliseren.
- Toepassingsmogelijkheden van lokale AI-implementaties in verschillende sectoren verkennen.
Ollama en gegevensprivacy: Veilige implementatiestrategieën
14 UrenOllama is een platform dat het mogelijk maakt om grote taalmodellen en multimodale modellen lokaal te draaien, terwijl het ook veilige implementatiepraktijken ondersteunt.
Deze door een instructeur geleide, live-training (online of op locatie) is bedoeld voor professionals met een gematigde kennisniveau die Ollama willen inzetten volgens strenge maatregelen op het gebied van gegevensprivacy en naleving van wet- en regelgeving.
Aan het einde van deze training zullen de deelnemers in staat zijn om:
- Ollama veilig te implementeren in gecontaineriseerde omgevingen en on-premises omgevingen.
- Technieken rond differentiële privacy toe te passen ter bescherming van gevoelige gegevens.
- Veilige logging-, monitoring- en auditprocedures in te voeren.
- Toegangscontrole op gegevens af te stemmen op de relevante compliance-eisen.
Opzet van de cursus
- Interactieve lezingen en discussies.
- Praktische oefeningen met veilige implementatiestrategieën.
- Casestudy’s en praktische opdrachten gericht op naleving van regelgeving.
Mogelijkheden tot cursuscustomisatie
- Wilt u een maatwerktraining voor deze cursus? Neem dan contact met ons op om dit te bespreken.
Toepassingen van Ollama in de financiële sector
14 UrenOllama is een lichtgewicht platform dat het mogelijk maakt om grote taalmodellen lokaal uit te voeren.
Deze begeleide, live-training (online of op locatie) is bedoeld voor financiële professionals en IT-personeel met een gemiddelde kennisniveau die Ollama-gebaseerde AI-oplossingen willen implementeren, aanpassen en in de praktijk brengen binnen de financiële sector.
Na afloop van deze training beschikken deelnemers over de nodige vaardigheden om:
- Ollama te implementeren en te configureren voor veilig gebruik in financiële processen.
- Lokale taalmodellen te integreren in analyse- en rapportagewerkstromen.
- Modellen aan te passen zodat ze geschikt zijn voor financiële terminologie en taken.
- Beveiligings-, privacy- en compliance-best practices toe te passen.
Opbouw van de cursus
- Interactieve lezingen en discussies.
- Praktische oefeningen met financiële gegevens.
- Live-lab implementaties van financiële scenario’s.
Opties voor cursuscustomisatie
- Indien u een op maat gemaakte training wenst, kunt u contact met ons opnemen om de details af te spreken.
Ollama-toepassingen in de gezondheidszorg
14 UrenOllama is een lichtgewicht platform waarmee grote taalmodellen lokaal kunnen worden uitgevoerd.
Deze door een instructeur begeleide, live-training (online of op locatie) richt zich op gezondheidszorgprofessionals en IT-teams met middenniveau die Ollama-gebaseerde AI-oplossingen willen implementeren, aanpassen en operationeel maken binnen zowel klinische als administratieve omgevingen.
Na afronding van deze training zijn de deelnemers in staat tot het volgende:
- Ollama veilig te installeren en configureren voor gebruik in de gezondheidszorg.
- Lokale taalmodellen te integreren in klinische werkprocessen en administratieve procedures.
- Modellen aan te passen zodat ze specifieke medische terminologie en taken beheersen.
- De beste praktijken toe te passen op het gebied van privacy, beveiliging en naleving van regelgeving.
Opbouw van de cursus
- Interactieve lezingen en discussies.
- Praktische demonstraties en begeleide oefeningen.
- Het daadwerkelijk implementeren in een geïsoleerde simulatieomgeving voor de gezondheidszorg.
Mogelijkheden tot cursusaanpassing
- Wilt u een op maat gemaakte versie van deze training? Neem dan contact met ons op om de details af te spreken.
Ollama: zelfgehoste grote taalmodellen als vervanging voor OpenAI- en Claude-API's
14 UrenOllama is een open-sourcetool waarmee u grote taalmodellen lokaal kunt draaien op consumenten- en bedrijfshardware. Het vereenvoudigt modelquantificatie, GPU-toewijzing en het aanbieden van API's via één eenvoudige commandoregelinterface. Hierdoor kunnen organisaties LLM's zoals Llama, Mistral en Qwen zelf hosten, zonder dat ze prompts of gegevens naar OpenAI, Anthropic of Google hoeven te verzenden.
Ollama voor verantwoord gebruik van AI en governance
14 UrenOllama is een platform waarmee grote taal- en multimodale modellen lokaal kunnen worden uitgevoerd, wat bijdraagt aan goede governance en het verantwoord toepassen van AI.
Deze live-training onder begeleiding van een instructeur (online of op locatie) is bedoeld voor professionals met een gemiddelde tot gevorderde kennisniveau die fairheid, transparantie en verantwoordelijkheid willen realiseren in toepassingen die gebruikmaken van Ollama.
Aan het einde van de training zullen deelnemers in staat zijn te:
- Verantwoorde AI-principes toepassen bij de implementatie van Ollama.
- Inhoudsfiltering en strategieën om vooroordelen tegen te gaan implementeren.
- Governance-werkstromen ontwerpen die aansluiten bij AI-alignement en auditbaarheid.
- Bewakings- en rapportage-instrumenten opzetten ter bevordering van naleving.
Vorm van de cursus
- Interactieve lezingen en discussies.
- Praktische oefeningen in het ontwerpen van governance-werkstromen.
- Case studies en op naleving gerichte oefeningen.
Mogelijkheden tot cursusaanpassing
- Wilt u een op maat gemaakte training voor dit onderwerp? Neem dan contact met ons op om de details te bespreken.
Meesterschap in prompt engineering met Ollama
14 UrenOllama is een platform dat het mogelijk maakt om grote taal- en multimodale modellen lokaal uit te voeren.
Deze door een instructeur geleide, live-training (online of op locatie) richt zich op deelnemers met een tussenliggend niveau die prompt engineering-technieken willen beheersen om optimale resultaten uit Ollama te halen.
Na afloop van deze training zullen de deelnemers in staat zijn tot het volgende:
- Het ontwerpen van effectieve prompts voor uiteenlopende toepassingen.
- Het toepassen van technieken zoals priming en het structureren van ketens van redeneringen.
- Het implementeren van prompt-sjablonen en strategieën voor contextbeheer.
- Het opzetten van meerfasige prompting-pipelines voor complexe werkstromen.
Opbouw van de cursus
- Interactieve lezingen en discussies.
- Praktische oefeningen in het ontwerpen van prompts.
- Concrete implementatie in een live-labomgeving.
Mogelijkheden tot cursusaanpassing
- Wilt u een op maat gemaakte versie van deze cursus? Neem dan contact met ons op om de details te bespreken.