Formation Flux de travail LLM multimodaux dans Vertex AI

Introduction aux LLM multimodaux dans Vertex AI

• Aperçu des capacités multimodales de Vertex AI
• Modèles Gemini et modalités prises en charge
• Cas d'usage en entreprise et en recherche

Configuration de l'environnement de développement

• Configuration de Vertex AI pour les flux de travail multimodaux
• Travail avec des jeux de données traversant les modalités
• Travail pratique : configuration de l'environnement et préparation des jeux de données

Fenêtres de contexte longues et raisonnement avancé

• Comprendre les flux de travail à long contexte
• Cas d'usage dans la planification et la prise de décision
• Travail pratique : mise en œuvre de l'analyse à long contexte

Conception de flux de travail inter-modaux

• Combinaison de l'analyse de texte, d'audio et d'images
• Enchaînement des étapes multimodales dans les pipelines
• Travail pratique : conception d'un pipeline multimodal

Utilisation des paramètres de l'API Gemini

• Configuration des entrées et des sorties multimodales
• Optimisation de l'inférence et de l'efficacité
• Travail pratique : réglage des paramètres de l'API Gemini

Applications avancées et intégrations

• Agents et assistants multimodaux interactifs
• Intégration d'API externes et d'outils
• Travail pratique : construction d'une application multimodale

Évaluation et itération

• Test des performances multimodales
• Métriques de précision, d'alignement et de dérive
• Travail pratique : évaluation des flux de travail multimodaux

Synthèse et prochaines étapes