Merci d'avoir envoyé votre demande ! Un membre de notre équipe vous contactera sous peu.
Merci d'avoir envoyé votre réservation ! Un membre de notre équipe vous contactera sous peu.
Plan du cours
Introduction aux LLM multimodaux dans Vertex AI
- Vue d'ensemble des capacités multimodales dans Vertex AI
- Les modèles Gemini et les modalités prises en charge
- Exemples d'utilisation en entreprise et en recherche
Configuration de l'environnement de développement
- Configuration de Vertex AI pour des workflows multimodaux
- Manipulation de jeux de données multi-modalités
- Travaux pratiques : installation de l'environnement et préparation des jeux de données
Fenêtres de contexte longues et raisonnement avancé
- Compréhension des workflows de type long-context
- Exemples d'utilisation dans la planification et la prise de décision
- Travaux pratiques : mise en œuvre de l'analyse long-context
Conception de workflows croisés entre modalités
- Combinaison de l'analyse de texte, d'audio et d'images
- Chaînage d'étapes multimodales dans les pipelines
- Travaux pratiques : conception d'un pipeline multimodal
Utilisation des paramètres de l'API Gemini
- Configuration des entrées et sorties multimodales
- Optimisation de l'inférence et de l'efficacité
- Travaux pratiques : réglage des paramètres de l'API Gemini
Applications avancées et intégrations
- Agents et assistants interactifs multimodaux
- Intégration d'APIs et d'outils externes
- Travaux pratiques : construction d'une application multimodale
Évaluation et itération
- Test des performances multimodales
- Métriques pour l'exactitude, l'alignement et la dérive
- Travaux pratiques : évaluation des workflows multimodaux
Conclusion et prochaines étapes
Pré requis
- Compétences en programmation Python
- Expérience dans le développement de modèles de machine learning
- Connaissance des données multimodales (texte, audio, image)
Public cible
- Chercheurs en IA
- Développeurs avancés
- Scientifiques en apprentissage automatique (ML)
14 Heures
