Prenez contact avec nous

Plan du cours

Introduction aux LLM multimodaux dans Vertex AI

  • Vue d'ensemble des capacités multimodales dans Vertex AI
  • Les modèles Gemini et les modalités prises en charge
  • Exemples d'utilisation en entreprise et en recherche

Configuration de l'environnement de développement

  • Configuration de Vertex AI pour des workflows multimodaux
  • Manipulation de jeux de données multi-modalités
  • Travaux pratiques : installation de l'environnement et préparation des jeux de données

Fenêtres de contexte longues et raisonnement avancé

  • Compréhension des workflows de type long-context
  • Exemples d'utilisation dans la planification et la prise de décision
  • Travaux pratiques : mise en œuvre de l'analyse long-context

Conception de workflows croisés entre modalités

  • Combinaison de l'analyse de texte, d'audio et d'images
  • Chaînage d'étapes multimodales dans les pipelines
  • Travaux pratiques : conception d'un pipeline multimodal

Utilisation des paramètres de l'API Gemini

  • Configuration des entrées et sorties multimodales
  • Optimisation de l'inférence et de l'efficacité
  • Travaux pratiques : réglage des paramètres de l'API Gemini

Applications avancées et intégrations

  • Agents et assistants interactifs multimodaux
  • Intégration d'APIs et d'outils externes
  • Travaux pratiques : construction d'une application multimodale

Évaluation et itération

  • Test des performances multimodales
  • Métriques pour l'exactitude, l'alignement et la dérive
  • Travaux pratiques : évaluation des workflows multimodaux

Conclusion et prochaines étapes

Pré requis

  • Compétences en programmation Python
  • Expérience dans le développement de modèles de machine learning
  • Connaissance des données multimodales (texte, audio, image)

Public cible

  • Chercheurs en IA
  • Développeurs avancés
  • Scientifiques en apprentissage automatique (ML)
 14 Heures

Nombre de participants


Prix par participant

Cours à venir

Catégories Similaires