Vers des comportements robotiques complexes par enchaînement de tâches référencées capteur Nicolas Mansard LAAS, Toulouse IRISA, Rennes.

Présentation au sujet: "Vers des comportements robotiques complexes par enchaînement de tâches référencées capteur Nicolas Mansard LAAS, Toulouse IRISA, Rennes."— Transcription de la présentation:

1 Vers des comportements robotiques complexes par enchaînement de tâches référencées capteur Nicolas Mansard LAAS, Toulouse IRISA, Rennes

2 Nicolas MANSARD Vers des comportements robotiques complexes N ICOLAS M ANSARD : Parcours 07 06 05 04 03 02 01 00 Séjour Pré-doctoral au Japon Collaboration à Lisbonne ■Post-doctorat à Stanford Collaboration Stanford University (USA) / JRL-Japan ■ Thèse à l’INRIA Rennes Encadré par F. CHAUMETTE Projet LAGADIC ■ Élève ENS CACHAN (sur concours 3ème année) ■ DEA Imagerie-Vision-Robotique Encadré par O. AYCARD – Projet E-Motion ■ ENSIMAG Stage ingénieur R&D à Madrid

3 Nicolas MANSARD Vers des comportements robotiques complexes Motivations ■ Problématique □ Construction de comportements robotiques complexes ■ Planification de trajectoire □ Connaissance supposée parfaite du monde □ Manque de réactivité ■ Comportement réactif et modification réactive du comportement Moteurs Capteurs Planification de trajectoire Exécution Raisonnement symbolique Extraction des données  Méthodes de programmation automatique de comportements robotiques efficaces

4 Nicolas MANSARD Vers des comportements robotiques complexes Enchaînement de tâches robotiques ■ Asservissement visuel pour des comportements robotiques complexes □ Bibliothèque de comportementsBas Niveau □ Modification du comportement en ligneHaut Niveau THESE [Asservissement visuel: IRISA][Planification de trajectoire: LAAS] ?

5 Nicolas MANSARD Vers des comportements robotiques complexes Bas niveau: commande continue ■ Objectifs: Définir une commande discrète ■ Contributions □ Pile de tâches: un outil pour l’enchaînement ■ Réduction de la complexité ■ Absorption des incertitudes ■ Objectifs: Etendre la pile de tâches □ Expressivité, robustesse, validité ■ Contributions □ Redondance directionnelle □ Tâches à dimension variable □ Estimation en ligne (avec Lisbonne) THESE CONTRÔLEUR DE TÂCHES CONTRAINTES Centrage Zoom Perspective Rotation Pile de Tâches ajout retrait swap  Publications: IEEE TAC (1 CA, 1 soumise), IROS’04, IROS’05, IROS’06, CDC’05

6 Nicolas MANSARD Vers des comportements robotiques complexes Bas niveau: commande continue ■ Objectifs: Définir une commande discrète ■ Contributions □ Pile de tâches: un outil pour l’enchaînement ■ Réduction de la complexité ■ Absorption des incertitudes ■ Objectifs: Etendre la pile de tâches □ Expressivité, robustesse, validité ■ Contributions □ Redondance directionnelle □ Tâches à dimension variable □ Estimation en ligne (avec Lisbonne) THESE CONTRÔLEUR DE TÂCHES CONTRAINTES Centrage Zoom Perspective Rotation Pile de Tâches ajout retrait swap  Publications: IEEE TAC (1 CA, 1 soumise), IROS’04, IROS’05, IROS’06, CDC’05

7 Nicolas MANSARD Vers des comportements robotiques complexes Haut niveau: commande discrète ■ Objectifs: élargir le domaine de convergence ■ Gestion de contraintes multiples □ Obstacle, butées articulaires, occultation … ■ Contributions □ Convergence globale pour un manipulateur ■ Gestion dynamique des contraintes ■ Absence de connaissances globales (carte) ■ Robustesse ET convergence globale THESE  Publications: IEEE TRO, ICRA’05, IROS’06 NIVEAU 1 CONTROL MOTEUR PILEPILE e1e1 eiei e i+1 enen Contrôleur de butées Contrôleur d’obstacle Contrôleur d’occultation … COLLISION PREDITE ? Contrôleur de remise OBSTACLE EVITE ? Contrôleur délibératif MINIMUM LOCAL ? DEAD-LOCK ? Remet une tâche Retire une tâche Ajout d’une tâche spécifique

8 Nicolas MANSARD Vers des comportements robotiques complexes Robotique humanoïde ■ Objectif: apprentissage de la pile de tâches ■ Contributions □ Extension de la pile de tâches aux robots mal calibrés ■ Séjour à l’ISR/IST Lisbonne PRE-DOC  Publications: IROS’06, ICRA'07, Finaliste pour le Best Video Award ICRA’07 ■ Objectif: tâche de saisie pendant la marche ■ Contributions □ Commande au niveau des tâches d’un humanoïde □ Vision en boucle fermée pendant la marche ■ Séjour à l’AIST/JRL-Japan (Bourse JSPS)

9 Nicolas MANSARD Vers des comportements robotiques complexes Robotique humanoïde ■ Objectif: apprentissage de la pile de tâches ■ Contributions □ Extension de la pile de tâches aux robots mal calibrés ■ Séjour à l’ISR/IST Lisbonne PRE-DOC  Publications: IROS’06, ICRA'07, Finaliste pour le Best Video Award ICRA’07 ■ Objectif: tâche de saisie pendant la marche ■ Contributions □ Commande au niveau des tâches d’un humanoïde □ Vision en boucle fermée pendant la marche ■ Séjour à l’AIST/JRL-Japan (Bourse JSPS)

10 Nicolas MANSARD Vers des comportements robotiques complexes De la cinématique à la dynamique ■ Objectifs □ Prise en compte de la dynamique dans la pile de tâches □ Tâches de coopération homme-robot (portage) ■ Coopération □ Stanford University, RMM group, dirigé par O. Khatib □ JRL-Japan, dirigé par A. Kheddar POST-DOC fcfc Robot fixe Robot flottant + contacts

11 Nicolas MANSARD Vers des comportements robotiques complexes Travaux passés: synthèse Asservissement référencé capteur Redondance directionnelle Pile adaptative Contraintes génériques Robotique manipulatrice Robotique non-holonome Robotique humanoïde Dimension Dynamique Incertitudes BAS NIVEAU HAUT NIVEAU Dimension variable Pile de Tâches CONTRAINTES Centrage Zoom Perspective Rotation ajout retrait swap

12 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (1/3) ■ Problématique Maîtrise de la redondance en robotique humanoïde Moteurs Capteurs Planification de trajectoire Exécution Raisonnement symbolique Extraction des données ■ Objectifs et difficultés □ Alternative à la planification de trajectoire □ Etendre les capacités exécutives □ Lier exécutif et symbolique ■ Articulé en deux thèmes principaux □ Unification bas niveau / référencé capteur □ Systèmes redondants de grande dimension

13 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive Un modèle unique permettant un enchaînement de tâches □ Modèle de commande en vision, en force … □ Modèle mécanique du comportement dynamique □ Brique de base d’un langage fcfc fcfc VISIONHAPTIQUEDYNAMIQUE AUDITION

14 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) fcfc fcfc VISION HAPTIQUEDYNAMIQUE Modèle unifié de commande AXE 1 AUDITION Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive Un modèle unique permettant un enchaînement de tâches □ Modèle de commande en vision, en force … □ Modèle mécanique du comportement dynamique □ Brique de base d’un langage

15 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions fcfc fcfc VISIONHAPTIQUEDYNAMIQUE IMITATIONANALYTIQUE Modèle unifié de commande AXE 1 AXE 2 AUDITION

16 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales  Problème spécifique de l’équilibre et de la locomotion  Anticipation: réintroduction d’une planification prédictive 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage ■ Et plus? □ Lier directement l’action à la décision fcfc fcfc

17 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage  De l’animation graphique vers l’exécution réelle  Fusion avec les méthodes analytiques ■ Et plus? □ Lier directement l’action à la décision fcfc fcfc

18 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage ■ Graal! □ Lier directement l’action à la décision fcfc fcfc

19 Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde fcfc fcfc VISIONHAPTIQUEDYNAMIQUE IMITATION COMPORTEMENTS MIXTES ALGORITHMIQUE DE LA PLANNIFICATION Modèle unifié de commande AXE 1 AXE 2 ANALYTIQUE AXE 3 AUDITION

20 Nicolas MANSARD Vers des comportements robotiques complexes Maîtrise de la redondance en robotique humanoïde ■ Intégration dans le laboratoire d’accueil □ LAAS/CNRS: le mouvement humain □ JRL: laboratoire franco-japonais □ Vers des comportements complexes ■ Applications □ Robotique en environnement réel □ Agents virtuels complexes □ Sciences du vivant Projet de recherche (3/3) fcfc fcfc

21 Nicolas MANSARD Vers des comportements robotiques complexes Synthèse ■ Projet de recherche □ Unification des méthodes de commande réactive □ Vers un langage de programmation d’actions ■ Collaborations □ Japon (JRL-Japan), Portugal (ISR/IST), USA (Stanford) □ Projet Robot@CWE (Europe), Projet Robea Egocentre, Cycab (France) ■ Diffusion □ Logiciels: ViSP, Cycab-TK □ Vulgarisation, démonstrations ■ 3 Revues internationales: 1 parue + 1 CA + 1 en cours □ Transactions IEEE en robotique et en automatique ■ 7 Congrès internationaux (+ 3 français) □ Conférences IEEE majeures en robotique et en automatique ■ Lauréat du prix des meilleures thèses du GDR-Macs ■ Finaliste de la meilleure vidéo ICRA’07 AIST