Cursusaanbod

Inleiding tot Parameter-Efficient Fine-Tuning (PEFT)

  • Motivatie en beperkingen van volledige fine-tuning.
  • Overzicht van PEFT: doelen en voordelen.
  • Toepassingen en casussen in de industrie.

LoRA (Low-Rank Adaptation)

  • Het concept en de intuïtie achter LoRA.
  • Implementatie van LoRA met Hugging Face en PyTorch.
  • Handson: Fine-tunen van een model met LoRA.

Adapter Tuning

  • Hoe adapter-modules werken.
  • Integratie met transformer-gebaseerde modellen.
  • Handson: Toepassing van Adapter Tuning op een transformer-model.

Prefix Tuning

  • Gebruik van soft prompts voor fine-tuning.
  • Krachten en beperkingen in vergelijking met LoRA en adapters.
  • Handson: Prefix Tuning op een LLM-taak.

Evaluatie en vergelijking van PEFT-methoden

  • Metrics voor het evalueren van prestaties en efficiëntie.
  • Balans in trainingsnelheid, geheugengebruik en nauwkeurigheid.
  • Benchmarkexperiments en interpretatie van de resultaten.

Implementeren van Fine-Tuned Modellen

  • Slaan en laden van fine-getuneerde modellen.
  • Implementatieoverwegingen voor PEFT-gebaseerde modellen.
  • Integratie in applicaties en pipelines.

Best Practices en Uitbreidingen

  • Combineren van PEFT met kwantisatie en distillatie.
  • Toepassing in low-resource- en meertalige contexten.
  • Toekomstige richtingen en actief onderzoeksterrein.

Samenvatting en volgende stappen

Vereisten

  • Een begrip van de basisprincipes van machine learning.
  • Ervaring met het werken met grote taalmodellen (LLMs).
  • Bekend zijn met Python en PyTorch.

Doelgroep

  • Datawetenschappers
  • AI-ingenieurs
 14 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën