Domaines d’intérêt Traitement du signal et des images Fusion des informations sensori-motrices au niveau du SNC Muscles artificiels Systèmes de Contrôle inspirés de la biologie Contrôle sensori-moteur des mvms de la main (biologique et artificielle) Bureau + Lab:INSERM U.742 -ANIM, 7 quai St. Bernard, Bâtiment A, 2 ème étage, Pièce A203, Jussieu, 75005, Paris URL: Tél.: UE NEO234 Les aspects computationnelles du contrôle moteur Les modèles du contrôle moteur volontaire T. Selim Eskiizmirliler (Ph.D ENST, MCF Paris 7)

Séance 1 : Rappel des aspects neurobiologiques du Contrôle Moteur. Les aspects computationnels du contrôle moteur Les modèles des circuits neuronaux, Ex: Modèle du cervelet Séance 2 : Modélisation de la fusion des Informations Sensori-Motrices Application du modèle proposé à la prédiction des cinétoses dans les trains pendulaires à grande vitesse (TGV pendulaire). Application du modèle au contrôle d’un actionneur à 1 ddl mû par des muscles pneumatiques de McKibben. Séance 3: Une architecture multi réseaux d’apprentissage multimodale pour contrôle moteur des mvm d’atteindre et de saisir inspirée de la connectivité cortico cortical. Application du modèle sur un bras « anthropomorphique » à 7 ddl équipé d’une main à 3 doigts. Projet Européens PALOMA, NEUROBOTICS. Projets actuels de l’équipe 2 de l’INSERM U742 Qu’est-ce qui se passe ailleurs? UE NEO234 Les aspects computationnelles du contrôle moteur

/ Un peu d’histoire UE NEO234 / Un peu d’histoire Anatomical drawing by Leonard de Vinci. The Santa Maria Nuova hospital, Florence ( ). May be not since Aristotle ( BCE), who believed that the brain is composed of soil and water, but, since Herophilus ( BC), who took the decisive step by identifying the nerves of movement and sentiment, and hereby, located the intelligence in the brain, it is known that the sensory and motor regions of the Central Nervous System (CNS) exchange information via anatomical connections and so they provide the PERCEPTION and THE CONTROL OF BODY MOVEMENTS. La science est où le plaisir et la curiosité se rencontrent. St. Augustin

/ Un peu d’histoire UE NEO234 / Un peu d’histoire

UE NEO234 Les aspects neurobiologiques du mouvement volontaire Architecture et fonctions Apprentissage, contrôle, Coordination des mouvements

Le boucle sensori-moteur et la position des modèles internes du contrôle sensori-moteur dans le boucle Wolpert & Ghahramani, Nature 2000 UE NEO234 Les aspects neurobiologiques du mouvement volontaire

L’activité des neurones du cortex moteur est liée à la force musculaire. Le neurone corticospinal spécifique du flexion du poignet ne code que la force mais pas le déplacement. UE NEO234 Les aspects neurobiologiques du mouvement volontaire Evarts (1968) Propriétés neuronales

UE NEO234 Les aspects neurobiologiques du mouvement volontaire L’activité des neurones du cortex moteur dépend de la tâche. Cheney et Fetz (1980) Muir et Lemon (1983) Propriétés neuronales

L’activité des neurones du cortex moteur dépend de la direction du mouvement. Georgopoulos et al. (1982) Lawrence et Kuypers (1968) La voie corticospinale directe est nécessaire pour le contrôle fin des doigts. UE NEO234 Les aspects neurobiologiques du mouvement volontaire

UE NEO234 Les aspects computationnels du contrôle moteur Où est la tasse? Où est mon bras? – Intégration des informations sensorielles – Référentiels, systèmes de coordonnées Comment atteindre la tasse? – Choix et formation d’une trajectoire – Equivalence motrice, redondance cinématique Comment calculer la commande motrice? – Choix des muscles et des activations musculaires – Redondance dynamique La commande est-elle correcte? – Corrections en ligne : rétroaction sensorielle – Boucle ouverte ou boucle fermée? Comment faire mieux la prochaine fois? – Adaptation, apprentissage moteur

Où est la tasse? Où est mon bras? UE NEO234 Les aspects computationnels du contrôle moteur Modalités : vision, audition, proprioception, … – Fusion multimodale Référentiels – Position de la cible : définie dans un repère fixe (terre) mais perçue dans un repère en mouvement (corps) – Position du bras : définie dans le repère du corps – Dans quel espace le mouvement est-il représenté? Perenin et Vighetto (1988)

UE NEO234 Les aspects computationnels du contrôle moteur Comment atteindre la tasse? Choix d’une trajectoire – Chemin dans l’espace (de la tâche) – Parcours temporel sur de la trajectoire Formation d’une trajectoire – Effecteur ( DEGRÉS DE LIBERTÉ, ÉQUIVALENCE MOTRICE ) – Trajectoire articulaire ( REDONDANCE ) Mathématiquement : cinématique inverse – Transformation de coordonnées – Problème « mal posé » (ill-posed problem)

UE NEO234 Les aspects computationnels du contrôle moteur Comment calculer la commande motrice? Calcul des couples articulaires – Pour réaliser la trajectoire articulaire désirée Distribution des forces – Redondance dynamique Mathématiquement : dynamique inverse

UE NEO234 Les aspects computationnels du contrôle moteur Sources d’erreur – Localisation de la cible (cible/oeil, oeil/tête, tête/corps) – Localisation de la main et posture du bras (visible ou non) – Estimation des grandeurs physiques (longueur, masse, inertie) – Approximation des transformations – Perturbations (e.g. la cible a bougé) – Bruit Solution : correction en ligne – Utilisation de la vision et de la proprioception – Délais dans les retours sensoriels Points-clé – Débat non résolu : boucle ouverte ou boucle fermée? – Programme moteur vs élaboration en ligne – Réflexe vs volontaire La commande est-elle correcte?

UE NEO234 Les aspects computationnels du contrôle moteur Comment faire mieux la prochaine fois? Adaptation, apprentissage moteur – Interface biomécanique : outils, télémanipulateur – Transformations visiomotrices (gains, rotations, …) – Transformations dynamiques (inertie, viscosité, raideur) Nature des apprentissages – Temporaire / permanent – Interférences – Apprentissage vs développement Construction – Signaux d’erreur – Etapes d’apprentissage

Etat interne. Ex: objet ponctuel soumis à une force. Pour définir le mouvement de l’objet, il faut connaître sa masse, l’histoire des forces appliquées et les conditions initiales (position, vitesse). – La position et la vitesse représentent l’état interne du système. – Intérêt de la notion d’état : le corps humain possède 600 muscles qui sont en première approximation soit contractés soit relachés. Il existe donc 2^600 activations motrices (plus que le nombre d’atomes dans l’univers). – L’état interne est une représentation simplifiée, compacte extraite de ces activations. UE NEO234 Les modèles computationnels du contrôle moteur Systèmes dynamiques

Contrôle. Trouver l’entrée (contrôle) de façon que la sortie (observation) se comporte d’une certaine façon. – Rester près d’une valeur de référence : Régulateur; rester proche d’une trajectoire désirée : problème de suivi. Estimation. La valeur de l’entrée peut être calculée en fonction de l’état si celui-ci est disponible. – De façon générale, seule une estimation de l’état est disponible. L’estimation a pour but construire une représentation de l’état courant à partir de l’histoire des sorties (observations). Rétroaction. Un signal de contrôle a un effet attendu qui peut ne pas se réaliser en raison de perturbations ou d’inexactitudes dans la connaissance du système. – Une rétroaction est nécessaire pour comparer la performance courante et la performance désirée et décider d’un effet compensatoire sur les entrées. La rétroaction doit être appropriée (instabilité, performances pauvres). Systèmes dynamiques UE NEO234 Les modèles computationnels du contrôle moteur

Contrôle en boucle fermée Erreur bien définie, limite sur le gain, delai dans la boucle, pas de prédiction. Utilisation : mouvements lents, posture. Types de contrôle Proportionnel Dérivatif : amortissement pour éviter les oscillations Intégral : pour éviter les erreurs d’équilibre (le terme intégral augmente le couple de plus en plus jusqu’à annuler l’erreur)

UE NEO234 Les modèles computationnels du contrôle moteur Contrôle en boucle fermée

Contrôle en boucle ouverte UE NEO234 Les modèles computationnels du contrôle moteur

Modèle direct : modèle de la relation causale entre les actions et leurs conséquences. Permet de prédire le comportement d’un système (corps, monde extérieur,...). – Un modèle direct de la dynamique d’un bras prend en entrée l’état courant du bras (positions et vitesses) et les commandes générées par un contrôleur pour produire une estimation du nouvel état. Modèle inverse : modèle de la relation entre les conséquence désirées et les actions. – Un modèle inverse de la dynamique d’un bras prend en entrée la trajectoire désirée pour produire les commandes appropriées à la réalisation de cette trajectoire. Modèles internes UE NEO234 Les modèles computationnels du contrôle moteur

Modèles internes UE NEO234 Les modèles computationnels du contrôle moteur

modèles directs UE NEO234 Les modèles computationnels du contrôle moteur Pour empêcher un objet de glisser dans la main, une force de prise (normale, grip force ) doit être exercée pour compenser la force de charge (tangentielle, load force ).

UE NEO234 Les modèles computationnels du contrôle moteur modèles directs Un sujet évoque une stimulation tactile sur la peau d’une main à travers une interface robotique manipulée par l’autre main. Lorsque le mouvement d’une main est transmis directement à l’autre main, le sujet soustrait l’effet sensoriel prédit de l’effet sensoriel réel de la stimulation tactile. Le sujet ne perçoit pas de « chatouillement ». Au contraire, lorsqu’un délai est introduit entre l’action d’une main et la stimulation tactile, le sujet perçoit une erreur de prédiction qui se traduit par une sensation de chatouillement.

Les sujets estiment la position de leur main à la fin d’un mouvement exécuté dans le noir. Dans certains cas, une force externe est appliquée à la main. Les erreurs varient en fonction de la durée du mouvement et sont décrites par la propagation temporelle du biais et de la variance. Utilisation combinée d’un modèle interne direct (prédiction du déplacement à partir des commandes motrices) et d’informations sensorielles afférentes. Les données ne peuvent être expliquées par l’un des deux composants seul. UE NEO234 Les modèles computationnels du contrôle moteur modèles directs

Un système peut utiliser un modèle direct plutôt qu’une rétroaction externe pour déterminer l’effet d’une commande et l’erreur associée. L’utilisation de l’effet prédit permet d’éviter l’instabilité inhérente aux délais de rétroaction → Prédiction sur le comportement du corps et du monde. Estimation de l’état du corps. Observateur, filtre de Kalman. UE NEO234 Les modèles computationnels du contrôle moteur Rôle des modèles directs

modèles inverses UE NEO234 Les modèles computationnels du contrôle moteur Une activité EMG est observée dans des muscles qui agissent à des articulations stationnaires pendant des mouvements du coude ou de l’épaule. Cette activité ressemble aux activités agoniste-antagoniste observées pendant le mouvement. De plus elle démarre avant le mouvement et son amplitude varie avec la vitesse du mouvement de l’articulation non stationnaire (c-à-d avec le couple d’interaction produit par le segment en mouvement).

Apprentissage d’un modèle direct UE NEO234 Les modèles computationnels du contrôle moteur Un modèle direct utilise une copie de la commande pour prédire les conséquences d’une action. Cette prédiction peut être comparée à la conséquence réelle pour générer un signal d’erreur de prédiction, qui peut être utilisé pour mettre à jour le modèle. Wolpert et Flanagan (2001)

Apprentissage direct inverse UE NEO234 Les modèles computationnels du contrôle moteur Une transformation est apprise en échantillonnant la transformation inverse. Ex: apprentissage de la relation comportement désiré →

Apprentissage distal supervisé UE NEO234 Les modèles computationnels du contrôle moteur Les actions sont des variables proximales (i.e. que l’étudiant contrôle directement). Les conséquences des actions sont des variables distales. L’étudiant forme un modèle interne prédictif (modèle direct/forward) en explorant les résultats associés avec le choix de certaines actions. Ce modèle interne est utilisé pour apprendre la relation entre intentions et actions.

Apprentissage distal supervisé L’apprentissage du modèle inverse utilise l’erreur de performance (différence entre résultat attendu et résultat actuel). Le modèle direct traduit cette erreur dans l’espace distal en une erreur dans l’espace proximal qui permet de superviser l’apprentissage du modèle inverse. L’apprentissage est correct même si le modèle est imprécis. UE NEO234 Les modèles computationnels du contrôle moteur

Feedback-error learning Un contrôleur feedback est utilisé pour corriger l’erreur entre l’état courant et l’état désiré. Il en résulte une commande feedback qui s’ajoute à la commande feedforward générée par le modèle inverse. La commande feedback devient nulle quand l’erreur est nulle. Elle peut être utilisée comme un signal d’erreur pour entraîner le modèle inverse.

Synthèse UE NEO234 Les modèles computationnels du contrôle moteur

Les modèles du cortex cérebral: Marr 1971 Banquet et coll. (1998) Cohen et Eichenhaum (1993) Zipser (1991) et Zipser et coll (1993) Grossberg ( ) Bullock & Grossberg (1998) UE NEO234 Les modèles des circuits neuronaux du contrôle moteur Les modèles des ganglions de la base: Bullock & Grossberg (1988) Monchi & Taylor (1995) Gullapali et coll. (1995) Dominet et coll. ( ) Les modèles du cervelet: Marr (1969) Albus (1971) Fujita (1982) Pellionisz (1986) Gluck et coll. (1990) Chauvet (1991) Bullock et coll. (1994) Fiala et coll. (1996) Schweighofer, Arbib, Dominey (1996)

CEREBELLUM ENTREES SORTIES Mossy Fibers Signaux de commandes Cortex Cérébral (sensory-motor activity) Signaux de rétroaction Système vestibulaire (balance) Formation Réticulaire (alerting) Position of joints Tension in tendons Velocity of contraction of muscles Pressure on skin Purkinje cell Eyes Mouth Arms Hands, Fingers Legs Foots, Toes UE NEO234 Le modèle du cervelet

Cross section of Cerebellar cortex. The principal cells and fiber systems of the cerebellar cortex. Schematic representation of the main connections between primary cerebellar cortex cells. UE NEO234 Le modèle du cervelet

où S = input vector M = set of mossy fiber used to encode S A = set of granule cells contacted by M p = output (Purkinje cell) CMAC est défini par une série de cartographes (mappings) et UE NEO234 Le modèle du cervelet, CMAC, Albus (1971, 1990) Modèle théorique du cerveletLa représentation schématique de CMAC Marr (1969), Albus (1975, 1990) où C=Symbolic motor commands + desired velocity, force etc. F= Actual joint position, the tension on tendon etc.

UE NEO234 Le modèle du cervelet, CMAC INFORMATION FLOW IN CMAC The Mapping Encoding Quantizing functions for K=4, N=2 Two variable, N=2, CMAC with K=4 quantizing functions on each variable and 25 granule cells for each permutation of corresponding quantizing functions.

UE NEO234 Le modèle du cervelet, CMAC The Mapping for B c will drop out to be replaced by C c if moves to Each granule cell receives input from several different mossy fibers, and no two granule cells receive input from the same combination of mossy fibers. Example: Then the active granule cells can be computed as

UE NEO234 Le modèle du cervelet, CMAC

Le flux d’information pour un robot à 7 ddl contrôlé par 7 CMACs. Deux trajectoires similaires T Pa et T Pb pour un mouvement élémentaire qui ont été apprises par les 7 CMACs. UE NEO234 Le modèle du cervelet, CMAC

L’effet de l'interférence d’apprentissage. Si l’apprentissage on T pa est interrompu par une trajectoire similaire T Pb, on observe une dégradation de la performance sur Tpa. Des itérations répétitives surmontent cette interférence d’apprentissage ou l’inhibition rétroactive. La performance d’apprentissage et de généralisation de CMAC pour le mouvement T pa. UE NEO234 Le modèle du cervelet, CMAC