Plan du cours
Introduction à la manipulation robotique et à l'apprentissage profond
- Aperçu des tâches de manipulation et des composants du système
- Approches traditionnelles par rapport aux approches basées sur l'apprentissage
- Apprentissage profond pour la perception, la planification et le contrôle
Perception pour la manipulation
- Capteurs visuels et détection d'objets pour la préhension
- Vision 3D, capteurs de profondeur et traitement des nuages de points
- Formation de CNN pour la localisation et la segmentation d'objets
Planification et détection de la préhension
- Algorithmes classiques de planification de la préhension
- Apprentissage des poses de préhension à partir de données et de simulations
- Mise en œuvre de réseaux de détection de préhension (par ex., GGCNN, Dex-Net)
Contrôle et planification du mouvement
- Cinématique inverse et génération de trajectoires
- Planification du mouvement basée sur l'apprentissage et apprentissage par imitation
- Apprentissage par renforcement pour les politiques de contrôle de la manipulation
Intégration avec ROS 2 et environnements de simulation
- Configuration de nœuds ROS 2 pour la perception et le contrôle
- Simulation de manipulateurs robotiques dans Gazebo et Isaac Sim
- Intégration de modèles neuronaux pour le contrôle en temps réel
Apprentissage de bout en bout pour la manipulation
- Combinaison de la perception, de la politique et du contrôle dans des réseaux unifiés
- Utilisation de données de démonstration pour l'apprentissage supervisé des politiques
- Adaptation du domaine entre la simulation et le matériel réel
Évaluation et optimisation
- Métriques pour le succès, la stabilité et la précision de la préhension
- Tests dans des conditions variées et perturbées
- Compression de modèles et déploiement sur des appareils edge
Projet pratique : Préhension robotique basée sur l'apprentissage profond
- Conception d'un pipeline de la perception à l'action
- Formation et test d'un modèle de détection de préhension
- Intégration du modèle dans un bras robotique simulé
Résumé et prochaines étapes
Pré requis
- Bonne compréhension de la cinématique et de la dynamique robotiques
- Expérience avec Python et les frameworks d'apprentissage profond
- Familiarité avec ROS ou des middleware robotiques similaires
Public cible
- Ingénieurs robotiques développant des systèmes de manipulation intelligents
- Spécialistes de la perception et du contrôle travaillant sur des applications de préhension
- Chercheurs et praticiens avancés dans l'apprentissage robotique et le contrôle basé sur l'IA
Nos clients témoignent (2)
Fourniture des matériels (machine virtuelle) pour passer directement aux exercices, et explication des fondamentaux de ROS2. Comprendre pourquoi les choses fonctionnent d'une manière particulière.
Arjan Bakema
Formation - Autonomous Navigation & SLAM with ROS 2
Traduction automatique
ses connaissances et son utilisation de l'IA pour la robotique dans le futur.
Ryle - PHILIPPINE MILITARY ACADEMY
Formation - Artificial Intelligence (AI) for Robotics
Traduction automatique