Cursusaanbod

Inleiding tot Parameter-Efficient Fine-Tuning (PEFT)

  • Motivatie en beperkingen van volledige fine-tuning
  • Overzicht van PEFT: doelen en voordelen
  • Toepassingen en gebruiksscenario's in de industrie

LoRA (Low-Rank Adaptation)

  • Concept en intuïtie achter LoRA
  • LoRA implementeren met behulp van Hugging Face en PyTorch
  • Praktijk: een model fijnstimmen met LoRA

Adapter Tuning

  • Hoe adaptermodules werken
  • Integratie met transformergebaseerde modellen
  • Praktijk: Adapter Tuning toepassen op een transformer-model

Prefix Tuning

  • Gebruik van zachte prompts voor fine-tuning
  • Voordelen en beperkingen vergeleken met LoRA en adapters
  • Praktijk: Prefix Tuning op een LLM-taak

PEFT-Methoden evalueren en vergelijken

  • Metriken voor het evalueren van prestaties en efficiëntie
  • Afwegingen in trainingsnelheid, geheugengebruik en nauwkeurigheid
  • Benchmarkexperimenten en interpretatie van resultaten

Fine-tuned modellen implementeren

  • Opslaan en laden van fine-tuned modellen
  • Implementatieoverwegingen voor PEFT-gebaseerde modellen
  • Integreer in applicaties en pipelines

Beste praktijken en extensies

  • PEFT combineren met kwantisering en destillatie
  • Gebruik in laag-resourcen en meertalige omgevingen
  • Toekomstige richtingen en actieve onderzoeksterreinen

Samenvatting en volgende stappen

Vereisten

  • Begrip van de basisprincipes van machine learning
  • Ervaring met werken aan grote taalmodellen (LLMs)
  • Kennis van Python en PyTorch

Publiek

  • Datawetenschappers
  • AI-ingenieurs
 14 Uren

Aantal deelnemers


Prijs Per Deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën