Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Inleiding tot LLMOps
- LLMOps versus MLOps: welke bijzondere uitdagingen zijn er bij het beheren van grote taalmodellen?
- De levenscyclus van een LLM-toepassing: promptontwikkeling, evaluatie, implementatie en monitoring
- Checklist voor productieklaarheid van generatieve AI-toepassingen
Promptbeheer en versiebeheer
- Systeemontwikkeling voor prompts met variabele invoer en sjabloonfunctionaliteit.
- Semantisch versiebeheer van prompts, waarbij automatische regressietesten worden uitgevoerd.
- Promptregisters en manieren om samen te werken aan promptontwikkeling.
Evaluatie van LLM’s op schaal
- Belangrijke evaluatiemethodieken: nauwkeurigheid, relevantie, veiligheid en consistentie.
- Het gebruik van zogenaamde LLM-as-judge-metingen naast menselijke beoordelingen.
- Automatische evaluatieframeworks: RAGAS, DeepEval en maatwerk-evaluatoren.
- Kwaliteitscontrole in CI/CD-processen bij LLM-implementaties.
Veiligheidsmaatregelen en inhoudsgovernance
- Ingangs- en uitgangsfiltering: NeMo Guardrails en Guardrails AI als tools.
- Het detecteren van persoonsgegevens, toxische content en het beperken van ongewenste onderwerpen.
- Defensieve strategieën tegen jailbreak-pogingen en promptinjecties.
- Red-teaming: systematische tests om veiligheidsproblemen in LLM-toepassingen te identificeren.
Monitoring en observatie van LLM’s
- Telmetingen: tokengebruik, latentietijd, kostenberekening en kwaliteitscriteria.
- Detectie van afwijkingen in modell-output of semantische ruimteveranderingen.
- Bijhouden van conversaties tussen meerdere stappen via sessietraceren.
- Dashboarding en waarschuwingssystemen door gebruik van LangSmith, Arize en OpenTelemetry.
AI-gateway’s en modelorchestratie
- Routing tussen verschillende leveranciers via LiteLLM en Portkey.
- Strategieën voor fallback, herhaald verzenden van verzoeken en circuitschakelaars.
- Kostenefficiënte selectie van modellen en evenwichtige belastingverdeling.
- Gebruiksbeperkingen, quota-management en beheer van API-sleutels.
Optimalisatie van prestaties
- Caching op semantisch niveau, middels vectoropslag of exacte matchingmethoden.
- Gebruik van beperkingen bij decodering om gestructureerde output te garanderen.
- Batching-, streaming- en parallelisatietechnieken voor efficiëntere verwerking.
- Latentietijduitstellingsoptimalisatie, ongeacht de gekozen leverancier.
Governance, naleving en controleerbaarheid
- Registratie van LLM-activiteiten: prompts, uitvoer en besluitvormingsverloop.
- Aandacht voor gegevenslocatie en privacy bij het gebruik van externe LLM-API’s.
- Beleidformulering in code: regels en kaders voor intern gebruik van grote taalmodellen.
- Opstellen van een interne ‘LLMOps-playbook’ voor beheersing.
Vereisten
- Ervaring in het bouwen of integreren van toepassingen die gebruikmaken van grote taalmodellen.
- Kennis van Python en REST-API’s.
- Grondige kennis over de basisprincipes van prompt engineering.
Doelgroep
- Machine learning-engineers en MLOps-professionals die zich richten op LLM-operaties.
- Platform-engineers verantwoordelijk voor de infrastructuur rond grote taalmodellen.
- Techische leiders die toezicht houden op productie-implementaties van generatieve AI-toepassingen.
14 Uren
Getuigenissen (2)
gebruik van een geschikte en effectieve prompt
Marses Pacaldo
Cursus - Generative AI and Prompt Engineering for Corporate Professionals
Automatisch vertaald
De interactieve stijl, de oefeningen
Tamas Tutuntzisz
Cursus - Introduction to Prompt Engineering
Automatisch vertaald
