Prenez contact avec nous

Plan du cours

Introduction

  • Qu'est-ce qu'un grand modèle linguistique (LLM) ?
  • LLM vs modèles NLP traditionnels
  • Aperçu des fonctionnalités et de l'architecture des LLM
  • Défis et limites des LLM

Compréhension des LLM

  • Le cycle de vie d'un LLM
  • Comment fonctionnent les LLM
  • Les composants principaux d'un LLM : encodeur, décodeur, mécanisme d'attention, embeddings, etc.

Premiers pas

  • Mise en place de l'environnement de développement
  • Installation d'un LLM en tant qu'outil de développement, par exemple Google Colab, Hugging Face

Travail avec les LLM

  • Exploration des options de LLM disponibles
  • Création et utilisation d'un LLM
  • Ajustement fin d'un LLM sur un ensemble de données personnalisé

Résumé de texte

  • Compréhension de la tâche de résumé de texte et de ses applications
  • Utilisation d'un LLM pour le résumé de texte extractif et abstrait
  • Évaluation de la qualité des résumés générés à l'aide de métriques telles que ROUGE, BLEU, etc.

Réponse aux questions

  • Compréhension de la tâche de réponse aux questions et de ses applications
  • Utilisation d'un LLM pour la réponse aux questions à domaine ouvert et fermé
  • Évaluation de la précision des réponses générées à l'aide de métriques telles que F1, EM, etc.

Génération de texte

  • Compréhension de la tâche de génération de texte et de ses applications
  • Utilisation d'un LLM pour la génération de texte conditionnelle et inconditionnelle
  • Contrôle du style, du ton et du contenu des textes générés à l'aide de paramètres tels que température, top-k, top-p, etc.

Intégration des LLM avec d'autres frameworks et plateformes

  • Utilisation des LLM avec PyTorch ou TensorFlow
  • Utilisation des LLM avec Flask ou Streamlit
  • Utilisation des LLM avec Google Cloud ou AWS

Dépannage

  • Compréhension des erreurs et bugs courants dans les LLM
  • Utilisation de TensorBoard pour surveiller et visualiser le processus d'entraînement
  • Utilisation de PyTorch Lightning pour simplifier le code d'entraînement et améliorer les performances
  • Utilisation de Hugging Face Datasets pour charger et prétraiter les données

Resumé et prochaines étapes

Pré requis

  • Une compréhension du traitement du langage naturel et de l'apprentissage profond.
  • De l'expérience avec Python et PyTorch ou TensorFlow.
  • Des bases en programmation.

Public cible

  • Développeurs.
  • Passionnés de NLP.
  • Scientifiques des données.
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires