Apprentissage du contrôle moteur : le geste élémentaire

Présentation au sujet: "Apprentissage du contrôle moteur : le geste élémentaire"— Transcription de la présentation:

1 Apprentissage du contrôle moteur : le geste élémentaire
Olivier Sigaud ISIR

2 Introduction générale

3 Nature de l’IA Un modèle est une construction intellectuelle visant à expliquer des données expérimentales Un système est un artefact doté de propriétés désirables IA : faire des modèles (de l’intellect) qui sont aussi des systèmes Human Problem Solving : données expérimentales sur la résolution de problème chez l’homme => GPS Déboires de l’IA symbolique « forte » : + de systèmes, moins de modèles

4 Approche animat Ancrée dans l’interaction avec l’environnement
Centrée sur les mécanismes adaptatifs du vivant Apprentissage, évolution, développement Adaptation face à l’imprévu Fort ancrage dans la neurophysiologie Modèles animaux pour des systèmes « simples »

5 Des robots robustes, mais simplistes
Raisonnement Langage, symboles Planification Navigation Sélection de l’action

6 Des robots complexes, mais fragiles
Faire face à la fragilité des systèmes « ingénieur »

7 Approche animat et contrôle moteur
Raisonnement Langage, symboles Planification Navigation Sélection de l’action Commande motrice

8 Objectifs complémentaires
Modélisation et compréhension du système moteur humain Commande des systèmes redondants, contraints et sous-actionnés Assistance, et rééducation de pathologies neuro-motrices

9 Cadre idéal pour la modélisation
Complexité mécanique et automatique : les biologistes ont besoin des « théoriciens » Complexité des fonctions motrices à réaliser : les théoriciens ont besoin des biologistes (la bonne vieille automatique ne suffit pas) Des retombées fondamentales importantes du côté des pathologies (maladie de Parkinson, hémiplégie…) Des retombées applicatives importantes du côté de la robotique et des humains virtuels

10 DINO – Assistance au mvt pathologique
Mouvements de référence observateur prédictif neuronal S Etat/Comportement postural Superviseur flou Compensation des réflexes pathologiques via un robot d’assistance Intention/Etat Le robot comme support de modélisation 10

11 DINO – Réhabilitation neuro-motrice
Pasqui, et al. (2007). Pathological sit-to-stand models for control of a rehabilitation robotic device . IEEE ICRR, 11

12 Applications : mini-robots
Un marché en croissance fulgurante Bon cadre pour l’apprentissage, faute de modèles précis (bruit) Servo-moteurs Robonova

13 Applications : HRP-2 HRP-2 Cadre d’un projet franco-japonais
Un défi technologique ASIMO, HOAP3, iCub… Intermédiaire : NAO Servo-moteurs encore… HRP-2

14 Applications : Arboris
Un simulateur flexible Commande en couples plutôt que servo-moteurs Commande en muscles si on veut… Plate-forme idéale pour la modélisation et la mise au point de l’apprentissage Arboris

15 Bras commandé en muscles

16 Le contrôle moteur humain

17 Un système extrêmement complexe
Système poly-articulé, redondant, non-holonome, sous-actionné, sur-actionné… Plus de 200 os Environ 600 muscles Système Soumis à des contraintes d’équilibre, fragile Capteurs/actionneurs imprécis et très lents Grande complexité des aires cérébrales impliquées dans le contrôle moteur

18 Une littérature considérable
Albus 72 : CMAC… Avancée très rapide des neurosciences (imagerie) Manque de compréhension globale Rôle clef des modélisateurs, théoriciens et roboticiens Modèles computationnels vs neuro-mimétiques

19 Invariants, synergies Nombreux invariants malgré la redondance
Ils peuvent venir : du système musculo-squelettique de la formulation des tâches de la structure du contrôleur de critères écologiques

20 Invariants du contrôle moteur (1)
Courbure des mouvements de reaching (loi de puissance 2/3) Profil de vitesse en cloche

21 Invariants du contrôle moteur (2)
Dispersion terminale = f(direction du but)

22 Loi de Fitts (précision/vitesse)
Model Plus on a besoin de précision terminale, moins on va vite

23 Latences dans la commande
Visco-élasticité musculaire : immédiat Boucles spinales : ms Mésencéphale : 90 ms Boucles supérieures : …> 150 ms

24 Principes de commande

25 Minimum jerk Flash et Hogan, 85 :douceur : le geste humain minimise l’intégrale de la secousse (jerk, dérivée de l’accélération) Problème : ne rend pas compte de la courbure des grands gestes

26 Minimum torque change Uno et al., 89 : douceur : le geste humain minimise les variations de couples moteurs Problème : pourquoi ces critères-là, estimés comment ? Quel avantage sélectif pour la « douceur » ?

27 Suivi de trajectoire / commande directe
Le minimum jerk est un critère « cinématique » : il porte sur la trajectoire, pas sur les couples musculaires qui permettent de la réaliser Recherche d’une trajectoire optimale de référence, puis suivi de cette trajectoire Au contraire, le minimum torque change impose d’optimiser directement les couples musculaires : pas de séparation entre détermination d’une trajectoire et exécution Dualité au cœur des modèles récents (cf. cours 3)

28 Commande en feedback : instabilité
Nécessité du feedforward pour stabiliser

29 Bruit moteur Présence d’un bruit moteur proportionnel à la commande
S’accumule au cours du temps, donc nuit à la précision Critère = minimiser la variance terminale La commande minimise l’activité musculaire pour minimiser le bruit moteur Minimum intervention principle (Todorov&Jordan) Elle joue sur les DdL redondants : le bruit est concentré sur les dimensions non pertinentes pour la tâche

30 Architecture de commande

31 SOFC La commande est stochastique (tient compte du bruit)
Elle est optimale (minimise un critère) Elle est en feedback (correction de trajectoire en fonction de l’état courant) Harris&Wolpert 98 (OFC + bruit moteur) Todorov 02, 04 (SOFC) Guigon 07 (TOFC) Guigon : l’atteinte du but n’est pas un critère à optimiser, c’est une des contraintes

32 Méthodes candidates Commande optimale : problèmes d’applicabilité en grandes dimensions Thèse Weiwei Li (06) : méthodes itératives, iLQG (10 DdL) Fast NMPC (Diehl 06) : 30 DdL Natural Policy Gradient (Peters 07) : robots réels Dans tous les cas, technicité mathématique, optimisation Suppose l’accès à un modèle de la dynamique Le modèle de la dynamique est généralement donné

33 Adaptation motrice

34 Paradigme expérimental
Shadmehr et Mussa-Ivaldi 94

35 Déviation due au champ de force
Shadmehr et Mussa-Ivaldi 94

36 Correction progressive
Shadmehr et Mussa-Ivaldi 94

37 After-effect After-effect : si on retire brutalement le champ, la main réalise une trajectoire symétrique

38 Conclusions 1 Hypothèse 1 : le crochet final vers le but résulte du déclenchement d’un module de correction (replanification) Hypothèse 2 : le crochet final vers le but résulte d’une commande en feedback Hypothèse 3 : la correction progressive résulte d’un apprentissage du modèle de la dynamique Simulation : H2 + H3 expliquent les données Généralisation motrice : trouver la forme du modèle corrigé par l’apprentissage (paramètres et fonction d’approximation)

39 Vision « batch » de l’apprentissage d’un modèle

40 Vision incrémentale (1)

41 Vision incrémentale (2)

42 Vision incrémentale (3)

43 Vision incrémentale (4)
Ne prend pas en compte le problème de la perception indirecte de l’état du système

44 SOFC : Wolpert et al.

45 L’état est caché

46 Pourquoi c’est plus dur…
En cas d’erreur sur Y estimé, faut-il corriger l’estimateur sensoriel, l’estimation d’état courante ou bien l’estimateur d’état ? L’état est une variable cachée… Filtre de Kalman : estimation et apprentissage optimal Mais couplage avec commande optimale Voir Weiwei Li 2006 (Todorov)

47 Généralisation motrice

48 Paradigme expérimental
Le sujet apprend dans un des domaines (par exemple à droite) puis est testé dans un autre (par exemple à gauche) Va-t-il transposer le champ appris ?

49 Jacobienne dX = J(Q) dQ dx
Déplacement d’un point de fonctionnement dans un référentiel lié à un but dy dq3 dq2 Déplacement des angles articulaires dq1 X=(x,y) Q=(q1,q2,q3) dX = J(Q) dQ

50 En modifiant la forme des champs, résultat = B l’emporte sur A
Résultats Trajectoires de la main dans un espace de travail 2 après avoir appris le champ dans un espace 1. On joue sur la forme du champ Hyp A : généralisation dans l’espace de la tâche (invariant par translation) Hyp B : généralisation dans l’espace articulaire (couples invariants) En modifiant la forme des champs, résultat = B l’emporte sur A

51 Direction préférée (Donchin et al.)
D’un muscle L’apprentissage modifie la direction préférée d’un muscle D’un neurone d’une population L’apprentissage modifie la direction préférée d’une population de neurones Autres questions : effets de catch trials où l’on supprime le champ trajectoire de référence modifiée (sur-compensation) A rapprocher de Samejima&Doya (2007)

52 Implémentation d’un modèle
Thèse Camille Salaün : Apprentissage du modèle par RLS Loi de commande par LQC Application à un 3Rplan Utilisation de IMTI : inutile sur verticalisation… Perspectives à court terme : LWPR + iLQG

53 Forward models linéaires par morceaux
IMTI Fondé sur RLS

54 Remarques Si l’acteur fonctionne par programmation dynamique, on a un modèle typique d’apprentissage par renforcement indirect La programmation dynamique est la contrepartie discrète et stochastique de la commande optimale (continue et généralement déterministe) Idée de combiner apprentissage supervisé du modèle et apprentissage par renforcement du contrôleur

55 Conclusions Sujet de M2 : implémenter LWPR + iLQG sur un bras simulé, puis voir comment retrouver les bonnes propriétés de généralisation motrice et les effets des catch trials

56 Synthèse Un geste élémentaire est :
spécifié dans l’espace des tâches dirigé par une commande basée modèle avec feedback conforme à un principe d’intervention musculaire minimale obtenu par apprentissage La modélisation est aux mains des théoriciens et ingénieurs plutôt que des biologistes Cette modélisation se fait au niveau des principes computationnels et/ou neuro-mimétiques