Prenez contact avec nous

Plan du cours

Introduction aux modèles multimodaux

  • Aperçu de l'apprentissage multimodal
  • Applications des modèles multimodaux
  • Défis liés à la gestion de plusieurs types de données

Architectures pour les modèles multimodaux

  • Exploration de modèles tels que CLIP, Flamingo et BLIP
  • Compréhension des mécanismes d'attention inter-modale
  • Considérations architecturales pour la scalabilité et l'efficacité

Préparation des jeux de données multimodaux

  • Techniques de collecte et d'annotation des données
  • Prétraitement des entrées textuelles, image et vidéo
  • Équilibrage des jeux de données pour les tâches multimodales

Techniques d'ajustement pour les modèles multimodaux

  • Mise en place de pipelines d'entraînement pour les modèles multimodaux
  • Gestion des contraintes de mémoire et de calcul
  • Handling de l'alignement entre les modalités

Applications des modèles multimodaux ajustés

  • Réponse aux questions visuelles
  • Légendage d'images et de vidéos
  • Génération de contenu à partir d'entrées multimodales

Optimisation des performances et évaluation

  • Métriques d'évaluation pour les tâches multimodales
  • Optimisation de la latence et du débit pour la production
  • Garantie de robustesse et de cohérence entre les modalités

Déploiement des modèles multimodaux

  • Conditionnement des modèles pour le déploiement
  • Inférence scalable sur des plateformes cloud
  • Applications en temps réel et intégrations

Études de cas et laboratoires pratiques

  • Ajustement de CLIP pour la récupération d'images basée sur le contenu
  • Entraînement d'un chatbot multimodal avec du texte et des vidéos
  • Mise en œuvre de systèmes de récupération inter-modale

Résumé et prochaines étapes

Pré requis

  • Maîtrise de la programmation en Python
  • Compréhension des concepts d'apprentissage profond
  • Expérience avec l'ajustement de modèles pré-entraînés

Public cible

  • Chercheurs en IA
  • Scientifiques des données
  • Praticiens en apprentissage automatique
 28 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires