Neem contact met ons op
 Duur 35 uren

Cursusaanbod

Inleiding en diagnostische grondslagen

  • Overzicht van foutmodi in LLM-systemen en veelvoorkomende Ollama-specifieke problemen
  • Instellen van reproduceerbare experimenten en gecontroleerde omgevingen
  • Debugset: lokale logs, request/response-opnames en sandboxing

Herproduceren en isoleren van fouten

  • Technieken voor het creëren van minimale falende voorbeelden en seeds
  • Stateful versus stateless interacties: isoleren van contextgerelateerde bugs
  • Determinisme, willekeurigheid en het beheersen van niet-deterministisch gedrag

Beoordeling van gedrag en metrieken

  • Kwantitatieve metrieken: nauwkeurigheid, ROUGE/BLEU-varianten, kalibratie en perplexity-proxys
  • Kwalitatieve evaluaties: human-in-the-loop-scoring en rubriekontwerp
  • Taakspecifieke controle van trouw aan de bron en acceptatiecriteria

Geautomatiseerd testen en regressie

  • Unit tests voor prompts en componenten, scenario- en end-to-end tests
  • Aanmaken van regressiesets en baselines met gouden voorbeelden
  • CI/CD-integratie voor modelupdates in Ollama en geautomatiseerde validatiepoorten

Observability en monitoring

  • Gestructureerde logging, gedistribueerde traces en correlatie-ID's
  • Kernoperationele metrieken: latentie, tokengebruik, foutpercentages en kwaliteitssignalen
  • Waarschuwingen, dashboards en SLI/SLO voor door modellen ondersteunde services

Geavanceerde oorzakelijke analyse

  • Traceerbaar maken van grafische prompts, toolcalls en multi-turn flows
  • Comparatieve A/B-diagnose en ablatiestudies
  • Dataprovence, debuggen van datasets en het aanpakken van door datasets veroorzaakte fouten

Veiligheid, robuustheid en remediatiestrategieën

  • Mitigatietactieken: filtering, grounding, retrieval augmentation en prompt scaffolding
  • Rollback-, canary- en gefaseerde rolloutpatronen voor modelupdates
  • Post-mortems, geleerde lessen en continuïteitsverbeteringscycli

Samenvatting en vervolgstappen

Vereisten

  • Omvattende ervaring met het bouwen en implementeren van LLM-toepassingen
  • Bekendheid met Ollama-workflows en modelhosting
  • Comfort met Python, Docker en basisobservability-tools

Publiek

  • AI-ingenieurs
  • MLOps-professionals
  • QA-teams verantwoordelijk voor LLM-systemen in productie

Aantal deelnemers


Prijs per deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën