Cursusaanbod

Inleiding en Diagnostische Grondslagen

  • Overzicht van foutmodi in LLM-systemen en veelvoorkomende Ollama-specifieke problemen
  • Het opzetten van reproduceerbare experimenten en gecontroleerde omgevingen
  • Debuggingtoolset: lokale logs, aanvraag/antwoordopnamen en sandboxing

Herproduceren en Isoleren van Fouten

  • Technieken voor het creëren van minimale mislukte voorbeelden en zaden
  • Stateful versus stateless interacties: het isoleren van contextgerelateerde fouten
  • Determinisme, willekeurigheid en het beheersen van niet-deterministisch gedrag

Gedragsbeoordeling en Metrieken

  • Kwantitatieve metrieken: nauwkeurigheid, ROUGE/BLEU-varianten, kalibratie en perplexiteit-proxies
  • Kwalitatieve beoordelingen: mens-in-de-schijf scoren en rubriekontwerp
  • Taakspecifieke trouwheidscontroles en acceptatiecriteria

Gearchiveerd Testen en Regressie

  • Eenheidstests voor prompts en componenten, scenario- en eind-op-eind-testen
  • Het creëren van regressie-suites en gouden voorbeeld-baselines
  • CI/CD-integratie voor Ollama-modelupdates en geautomatiseerde validatiegaten

Waarneembaarheid en Monitoring

  • Gestructureerde logboeken, verdeelde sporen en correlatie-ID's
  • Belangrijke operationele metrieken: latentie, tokengebruik, foutenpercentages en kwaliteitssignalen
  • Waarschuwing, dashboards en SLI/SLO's voor modelondersteunde diensten

Geavanceerde Oorzaakanalyse

  • Sporen door gegraafde prompts, tooloproepen en meeromgangsstromen
  • Vergelijkende A/B-diagnose en afbraakstudies
  • Data-herkomst, dataset-debugging en het aanpakken van door dataset veroorzaakte fouten

Veiligheid, Robustheid en Herstelstrategieën

  • Mitigaties: filtering, grounding, retrieval augmentation, en prompt scaffolding
  • Rollback, canary, en gefaseerde roll-outpatronen voor modelupdates
  • Post-mortems, geleerde lessen en continu-improvement-lussen

Samenvatting en Volgende Stappen

Vereisten

  • Uitgebreide ervaring met het bouwen en deployen van LLM-applicaties
  • Kennis van Ollama workflows en model hosting
  • Gemak met Python, Docker, en basisobservabiliteitstools

Doelgroep

  • AI-ingenieurs
  • ML Ops-professionals
  • QA-teams verantwoordelijk voor productie LLM-systemen
 35 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën