Vers des comportements robotiques complexes par enchaînement de tâches référencées capteur Nicolas Mansard LAAS, Toulouse IRISA, Rennes

Nicolas MANSARD Vers des comportements robotiques complexes N ICOLAS M ANSARD : Parcours Séjour Pré-doctoral au Japon Collaboration à Lisbonne ■Post-doctorat à Stanford Collaboration Stanford University (USA) / JRL-Japan ■ Thèse à l’INRIA Rennes Encadré par F. CHAUMETTE Projet LAGADIC ■ Élève ENS CACHAN (sur concours 3ème année) ■ DEA Imagerie-Vision-Robotique Encadré par O. AYCARD – Projet E-Motion ■ ENSIMAG Stage ingénieur R&D à Madrid

Nicolas MANSARD Vers des comportements robotiques complexes Motivations ■ Problématique □ Construction de comportements robotiques complexes ■ Planification de trajectoire □ Connaissance supposée parfaite du monde □ Manque de réactivité ■ Comportement réactif et modification réactive du comportement Moteurs Capteurs Planification de trajectoire Exécution Raisonnement symbolique Extraction des données  Méthodes de programmation automatique de comportements robotiques efficaces

Nicolas MANSARD Vers des comportements robotiques complexes Enchaînement de tâches robotiques ■ Asservissement visuel pour des comportements robotiques complexes □ Bibliothèque de comportementsBas Niveau □ Modification du comportement en ligneHaut Niveau THESE [Asservissement visuel: IRISA][Planification de trajectoire: LAAS] ?

Nicolas MANSARD Vers des comportements robotiques complexes Bas niveau: commande continue ■ Objectifs: Définir une commande discrète ■ Contributions □ Pile de tâches: un outil pour l’enchaînement ■ Réduction de la complexité ■ Absorption des incertitudes ■ Objectifs: Etendre la pile de tâches □ Expressivité, robustesse, validité ■ Contributions □ Redondance directionnelle □ Tâches à dimension variable □ Estimation en ligne (avec Lisbonne) THESE CONTRÔLEUR DE TÂCHES CONTRAINTES Centrage Zoom Perspective Rotation Pile de Tâches ajout retrait swap  Publications: IEEE TAC (1 CA, 1 soumise), IROS’04, IROS’05, IROS’06, CDC’05

Nicolas MANSARD Vers des comportements robotiques complexes Bas niveau: commande continue ■ Objectifs: Définir une commande discrète ■ Contributions □ Pile de tâches: un outil pour l’enchaînement ■ Réduction de la complexité ■ Absorption des incertitudes ■ Objectifs: Etendre la pile de tâches □ Expressivité, robustesse, validité ■ Contributions □ Redondance directionnelle □ Tâches à dimension variable □ Estimation en ligne (avec Lisbonne) THESE CONTRÔLEUR DE TÂCHES CONTRAINTES Centrage Zoom Perspective Rotation Pile de Tâches ajout retrait swap  Publications: IEEE TAC (1 CA, 1 soumise), IROS’04, IROS’05, IROS’06, CDC’05

Nicolas MANSARD Vers des comportements robotiques complexes Haut niveau: commande discrète ■ Objectifs: élargir le domaine de convergence ■ Gestion de contraintes multiples □ Obstacle, butées articulaires, occultation … ■ Contributions □ Convergence globale pour un manipulateur ■ Gestion dynamique des contraintes ■ Absence de connaissances globales (carte) ■ Robustesse ET convergence globale THESE  Publications: IEEE TRO, ICRA’05, IROS’06 NIVEAU 1 CONTROL MOTEUR PILEPILE e1e1 eiei e i+1 enen Contrôleur de butées Contrôleur d’obstacle Contrôleur d’occultation … COLLISION PREDITE ? Contrôleur de remise OBSTACLE EVITE ? Contrôleur délibératif MINIMUM LOCAL ? DEAD-LOCK ? Remet une tâche Retire une tâche Ajout d’une tâche spécifique

Nicolas MANSARD Vers des comportements robotiques complexes Robotique humanoïde ■ Objectif: apprentissage de la pile de tâches ■ Contributions □ Extension de la pile de tâches aux robots mal calibrés ■ Séjour à l’ISR/IST Lisbonne PRE-DOC  Publications: IROS’06, ICRA'07, Finaliste pour le Best Video Award ICRA’07 ■ Objectif: tâche de saisie pendant la marche ■ Contributions □ Commande au niveau des tâches d’un humanoïde □ Vision en boucle fermée pendant la marche ■ Séjour à l’AIST/JRL-Japan (Bourse JSPS)

Nicolas MANSARD Vers des comportements robotiques complexes Robotique humanoïde ■ Objectif: apprentissage de la pile de tâches ■ Contributions □ Extension de la pile de tâches aux robots mal calibrés ■ Séjour à l’ISR/IST Lisbonne PRE-DOC  Publications: IROS’06, ICRA'07, Finaliste pour le Best Video Award ICRA’07 ■ Objectif: tâche de saisie pendant la marche ■ Contributions □ Commande au niveau des tâches d’un humanoïde □ Vision en boucle fermée pendant la marche ■ Séjour à l’AIST/JRL-Japan (Bourse JSPS)

Nicolas MANSARD Vers des comportements robotiques complexes De la cinématique à la dynamique ■ Objectifs □ Prise en compte de la dynamique dans la pile de tâches □ Tâches de coopération homme-robot (portage) ■ Coopération □ Stanford University, RMM group, dirigé par O. Khatib □ JRL-Japan, dirigé par A. Kheddar POST-DOC fcfc Robot fixe Robot flottant + contacts

Nicolas MANSARD Vers des comportements robotiques complexes Travaux passés: synthèse Asservissement référencé capteur Redondance directionnelle Pile adaptative Contraintes génériques Robotique manipulatrice Robotique non-holonome Robotique humanoïde Dimension Dynamique Incertitudes BAS NIVEAU HAUT NIVEAU Dimension variable Pile de Tâches CONTRAINTES Centrage Zoom Perspective Rotation ajout retrait swap

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (1/3) ■ Problématique Maîtrise de la redondance en robotique humanoïde Moteurs Capteurs Planification de trajectoire Exécution Raisonnement symbolique Extraction des données ■ Objectifs et difficultés □ Alternative à la planification de trajectoire □ Etendre les capacités exécutives □ Lier exécutif et symbolique ■ Articulé en deux thèmes principaux □ Unification bas niveau / référencé capteur □ Systèmes redondants de grande dimension

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive Un modèle unique permettant un enchaînement de tâches □ Modèle de commande en vision, en force … □ Modèle mécanique du comportement dynamique □ Brique de base d’un langage fcfc fcfc VISIONHAPTIQUEDYNAMIQUE AUDITION

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) fcfc fcfc VISION HAPTIQUEDYNAMIQUE Modèle unifié de commande AXE 1 AUDITION Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive Un modèle unique permettant un enchaînement de tâches □ Modèle de commande en vision, en force … □ Modèle mécanique du comportement dynamique □ Brique de base d’un langage

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions fcfc fcfc VISIONHAPTIQUEDYNAMIQUE IMITATIONANALYTIQUE Modèle unifié de commande AXE 1 AXE 2 AUDITION

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales  Problème spécifique de l’équilibre et de la locomotion  Anticipation: réintroduction d’une planification prédictive 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage ■ Et plus? □ Lier directement l’action à la décision fcfc fcfc

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage  De l’animation graphique vers l’exécution réelle  Fusion avec les méthodes analytiques ■ Et plus? □ Lier directement l’action à la décision fcfc fcfc

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde ■ Axe 1: Unification des méthodes de commande réactive ■ Axe 2: Vers un langage de programmation d’actions Complexité sur des systèmes de grande dimension 1. Critères analytiques d’enchaînement Résoudre en ligne un système de contraintes unilatérales 2. Enchaînement par apprentissage Le « lien virtuel » comme base de l’apprentissage ■ Graal! □ Lier directement l’action à la décision fcfc fcfc

Nicolas MANSARD Vers des comportements robotiques complexes Projet de recherche (2/3) Maîtrise de la redondance en robotique humanoïde fcfc fcfc VISIONHAPTIQUEDYNAMIQUE IMITATION COMPORTEMENTS MIXTES ALGORITHMIQUE DE LA PLANNIFICATION Modèle unifié de commande AXE 1 AXE 2 ANALYTIQUE AXE 3 AUDITION

Nicolas MANSARD Vers des comportements robotiques complexes Maîtrise de la redondance en robotique humanoïde ■ Intégration dans le laboratoire d’accueil □ LAAS/CNRS: le mouvement humain □ JRL: laboratoire franco-japonais □ Vers des comportements complexes ■ Applications □ Robotique en environnement réel □ Agents virtuels complexes □ Sciences du vivant Projet de recherche (3/3) fcfc fcfc

Nicolas MANSARD Vers des comportements robotiques complexes Synthèse ■ Projet de recherche □ Unification des méthodes de commande réactive □ Vers un langage de programmation d’actions ■ Collaborations □ Japon (JRL-Japan), Portugal (ISR/IST), USA (Stanford) □ Projet (Europe), Projet Robea Egocentre, Cycab (France) ■ Diffusion □ Logiciels: ViSP, Cycab-TK □ Vulgarisation, démonstrations ■ 3 Revues internationales: 1 parue + 1 CA + 1 en cours □ Transactions IEEE en robotique et en automatique ■ 7 Congrès internationaux (+ 3 français) □ Conférences IEEE majeures en robotique et en automatique ■ Lauréat du prix des meilleures thèses du GDR-Macs ■ Finaliste de la meilleure vidéo ICRA’07 AIST