Inleiding tot grote taalmodellen (LLMs) Training Cursus

Inleiding

• Wat zijn grote taalmodellen (LLMs)?
• Vergelijking tussen LLMs en traditionele NLP-modellen
• Overzicht van de kenmerken en architectuur van LLMs
• Herkennen van uitdagingen en beperkingen van LLMs

Begrip van LLMs

• De levenscyclus van een LLM
• Hoe werken grote taalmodellen?
• De hoofdcomponenten van een LLM: encoder, decoder, attention-mechanisme en embeddings, etc.

Aan de slag

• Instellen van de ontwikkelomgeving
• Een LLM als ontwikkelhulpmiddel installeren – bijvoorbeeld via Google Colab of Hugging Face

Werken met LLMs

• Beschikbare LLM-opties verkennen
• Een LLM creëren en inzetten
• Een LLM fine-tunen op een eigen dataset

Tekstsamenvatting

• De essentie van tekstsamenvatting en zijn praktische toepassingen begrijpen
• Gebruikmaken van een LLM voor extractieve en abstractieve samenvattingen
• Kwaliteit van gegenereerde samenvattingen evalueren aan de hand van meeteenheden als ROUGE, BLEU enz.

Vraagbeantwoording

• De aard van vraagbeantwoording en haar toepassingsmogelijkheden begrijpen
• Gebruikmaken van een LLM bij zowel open- als gesloten domeinvragen beantwoorden
• Nauwkeurigheid van gegeven antwoorden evalueren via maten zoals F1, EM enz.

Tekstgeneratie

• De werking van tekstgeneratie en haar toepassingen kennen
• Gebruikmaken van een LLM voor zowel conditionele als onvoorwaardelijke tekstproductie
• Stijl, toon en inhoud van gegenereerde teksten beïnvloeden door parameters zoals temperature, top-k en top-p te gebruiken.

Integratie van LLMs met andere frameworks en platformen

• Gebruik van LLMs in combinatie met PyTorch of TensorFlow
• Implementeren van LLMs via Flask of Streamlit
• Inzetten van LLMs op Google Cloud of AWS

Probleemoplossing en foutanalyse

• Gebruikelijke fouten en problemen bij het werken met LLMs herkennen
• TensorBoard benutten om het trainingsproces te volgen en visueel weergave te geven.
• PyTorch Lightning gebruiken voor eenvoudigere trainingcodes en betere prestaties.
• Hugging Face Datasets gebruiken om data te importeren en klaar te maken voor verwerking.

Samenvatting en volgende stappen