Neem contact met ons op

Cursusaanbod

Inleiding tot Parameter-Efficient Fine-Tuning (PEFT)

  • Motivatie en beperkingen van volledige fine-tuning
  • Overzicht van PEFT: doelen en voordelen
  • Toepassingen en use cases in de industrie

LoRA (Low-Rank Adaptation)

  • Concept en intuïtie achter LoRA
  • Implementeren van LoRA met Hugging Face en PyTorch
  • Hands-on: Een model finetunen met LoRA

Adapter Tuning

  • Hoe adapter modules werken
  • Integratie met transformer-gebaseerde modellen
  • Hands-on: Toepassen van Adapter Tuning op een transformer model

Prefix Tuning

  • Gebruik van soft prompts voor fine-tuning
  • Voordelen en beperkingen in vergelijking met LoRA en adapters
  • Hands-on: Prefix Tuning op een LLM taak

Evalueren en Vergelijken van PEFT-methoden

  • Metrics voor het evalueren van prestaties en efficiëntie
  • Afwegingen in trainingssnelheid, geheugengebruik en nauwkeurigheid
  • Benchmark-experimenten en interpretatie van resultaten

Implementeren van Fine-Tuned Modellen

  • Opslaan en laden van fine-getuned modellen
  • Overwegingen bij implementatie van PEFT-gebaseerde modellen
  • Integratie in applicaties en pipelines

Best Practices en Extensies

  • Combineren van PEFT met kwantisatie en distillatie
  • Gebruik in omgevingen met weinig bronnen en meertalige instellingen
  • Toekomstige ontwikkelingen en actieve onderzoeksgebieden

Samenvatting en Volgende Stappen

Vereisten

  • Basiskennis van machine learning principles
  • Ervaren met werken aan grote taalmodellen (LLM's)
  • Vertrouwdheid met Python en PyTorch

Doelgroep

  • Datawetenschappers
  • AI-engineers
 14 Uren

Aantal deelnemers


Prijs per deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën