Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
AI-soevereiniteit en lokale implementatie van LLMs
- Risico's van cloud-LLMs: gegevensbewaring, training op inputs, buitenlandse jurisdictie.
- Ollama-architectuur: modelservice, register en OpenAI-compatible API.
- Vergelijking met vLLM, llama.cpp en Text Generation Inference.
- Modellicenties: Llama, Mistral, Qwen en Gemma voorwaarden.
Installatie en hardware-opstelling
- Ollama installeren op Linux met CUDA- en ROCm-ondersteuning.
- CPU-only fallback en AVX/AVX2-optimalisatie.
- Docker-implementatie en persistente volume-mapping.
- Multi-GPU-opstelling en VRAM-toewijzingsstrategieën.
Modelbeheer
- Modellen downloaden vanuit het Ollama-register: ollama pull llama3.
- GGUF-modellen importeren van HuggingFace en TheBloke.
- Kwantificeringsniveaus: Q4_K_M, Q5_K_M, Q8_0 afwegingen.
- Modellen wisselen en beperkingen voor gelijktijdig laden van modellen.
Aangepaste Modelfiles
- Modelfile-syntax schrijven: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Afstemmen van temperatuur, top_p en repeat_penalty.
- Systeem-prompt engineering voor rol-specifiek gedrag.
- Aangepaste modellen maken en publiceren naar het lokale register.
API-integratie
- OpenAI-compatible /v1/chat/completions endpoint.
- Streaming-responsen en JSON-modus.
- Integratie met LangChain, LlamaIndex en aangepaste applicaties.
- Authenticatie en rate limiting met reverse proxy.
Prestatieoptimalisatie
- Sizing van het contextvenster en KV-cache-beheer.
- Batch-inferentie en parallel verwerken van requests.
- CPU-threadtoewijzing en NUMA-bewustzijn.
- Monitoren van GPU-belasting en geheugendruk.
Veiligheid en compliance
- Netwerkisolatie voor modelservice-eindpunten.
- Input-filtering en output-moderatie pipelines.
- Audit logging van prompts en voltooiingen.
- Modelherkomst en hash-verificatie.
Vereisten
- Intermediate kennis van Linux en containeradministratie.
- Begrip van machine learning en transformer-modellen op hoog niveau.
- Bekendheid met REST-API's en JSON.
Doelgroep
- AI-ingenieurs en ontwikkelaars die cloud-LLM-API's vervangen.
- Organisaties met gevoelige data die het gebruik van cloudmodellen onmogelijk maakt.
- Overheids- en defensieteams die lucht-gescheiden taalmodellen vereisen.
14 Uren
