Modélisation bayésienne de la perception et de l’action Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 03/02/2009 http://julien.diard.free.fr Julien.Diard@upmf-grenoble.fr
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Modélisation de la perception multi- Sensorielle / indice multimodale / intramodale Modèle de pondération linéaire (Lambrey, 2005)
Modèle de pondération sensorielle
Modélisation de la perception Un problème inverse (Poggio, 1984) Modèle bayésien Inversion + hypothèse d’indépendance conditionnelle
Proprioception (Laurens, 08) Vision Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06) Perception des formes (revue de Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène Proprioception (Laurens, 08)
Fusion multi-sensorielle Fusion multi-indices Haptique : géométrie et force (Drewing & Ernst, 06) Vision (Kersten et al., 04) Fusion multi-sensorielle Visuo-haptique (Ernst & Banks, 02) Visuo-acoustique Localisation de sources (Battaglia et al., 03) effet McGurk Reconnaissance de voyelles (Gilet, 06)
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Nature, 429–433, 2002
Humans integrate visual and haptic information in a statistically optimal fashion Mécanisme d’integration visuo-haptique par fusion de gaussiennes Utilisé par les humains
Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données
Matériel expérimental Conflit visuo-haptique de perception des longueurs Modèle dominant : MLE Ernst et al. (2002, Nature) MLE : cas particulier de la superposition des cartes bayésiennes Limites mathématiques Apprentissage affecte la précision de chaque modalité mais pas l’opérateur de fusion Conséquence Indépendance des facteurs antérieurs aspects dynamiques, action pour la perception consignes, attention Question Opérateur de fusion est-il cognitivement pénétrable ? Hypothèse vision non pénétrable, haptique oui modulable par l’expérience, opérateur inné ?
Stimuli visuels
Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200% 1 niveau haptique 1 s de présentation Tâche de choix forcé laquelle de ces deux barres est la plus grande ?
Cas mono-modal
Integration visuo-haptique 0%
Integration visuo-haptique 0% 67%
Integration visuo-haptique 0% 67% 133%
Integration visuo-haptique 0% 67% 133% 200%
Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 22
Modèle bayésien de fusion « naïve » 23
Modèle bayésien de fusion « naïve » 24
Modèle bayésien de fusion « naïve » Estimateur de maximum de vraisemblance Par opposition à Bayésien « Statistiquement optimal » Moindre variance : 25
Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 26
Quelles gaussiennes ? Choix d’une gaussienne parmi 2 T = 0.085 x 55 mm Choix d’une gaussienne parmi 2 Point d’égalité subjective PSE : moyenne Seuil de discrimination 0.04 x 55 mm 27
Integration visuo-haptique 0% 67% 133% 200%
Comparaison modèle - données 0% 67% 133% 200%
Moyennes prédites - observées 30
Variances prédites - observées JND 31
Questions, critiques ?
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Perception multi-sensorielle 0% 67% 133% 200% En psychophysique Ernst & Banks JND, PSE, … En psychologie cognitive ?
Modélisation bayésienne de la perception visuo-acoustique de voyelles
Perception audiovisuelle
Perception audiovisuelle
Remarque
Modélisation bayésienne de la perception audiovisuelle Trois modèles bayésiens Modèle M0 Modèle M1 Modèle M2 Comparaison bayésienne des modèles
Espace interne de M0
Modèle M0
Modèle M0
Modèle M0
Modèle M0 : résultats
Modèle M1
Modèle M1 : résultat
Modèle M2
Modèle M2 : résultat
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Question ouverte De nombreux exemples d’application du modèle de fusion Limite de validité du modèle ? Valeur d’un modèle qui s’applique partout ?
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Modélisation du contrôle Mouvements de pointage, volontaire, chez l’humain Etude des régularités Lois du mouvement Hypothèses sur les mécanismes Modèles (neuro)cognitifs
3 lois Isochronie Loi de Fitts Loi de la puissance 2/3
Tâche : Saisie d’un cylindre à différentes distances (40,32,25) Palluel-Germain, 08 L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement Ex : Saisie (Jeannerod 1984) Vitesse (cm/s) Tâche : Saisie d’un cylindre à différentes distances (40,32,25) Résultats : Temps similaire/augmentation de la vitesse Durée (ms) La durée du mouvement semble fixée à l’avance
Cible de taille W à une distance D
Loi de puissance de 2/3 V(t) = K * R(t) 1-β K = gain de vitesse V(t) = vitesse du mouvement R(t) = rayon de courbure 1-β = 1/3
Modèles de planification de mouvements Sélection d’une trajectoire selon un coût
Observations Les trajectoires de la main sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche. Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée
Espaces de contrôle Planification intrinsèque Planification extrinsque Espace articulaire Planification extrinsque Espace cartésien
Modèle d’interpolation linéaire dans l’espace articulaire Changement angulaire des articulations Trajectoire observée D’après Hollerbach & Atkeson (1986)
Modèle d’interpolation linéaire dans l’espace articulaire β α
Espace de travail Minimisation des dérivées de l’endpoint n=2 minimum acceleration n=3 minimum jerk n=4 minimum snap
Minimum jerk Prédit des segments droits Pas observés pour des mouvements de grande amplitude Lacquaniti et al. (1986)
Espace des couples moteurs Minimisation des couples zi générés à chaque articulation
Minimum variance Bruit dépendant du signal (signal dependent noise SDN)
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture
Equivalence motrice
Plan Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique des voyelles Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture
Questions ouvertes Modélisation bayésienne de boucles sensorimotrices Vraiment ?
Boucle ouverte force State change Motor commands muscles Body part
Measured sensory consequences Motor commands force State change muscles Body part Integration Sensory system Proprioception Vision Audition Measured sensory consequences Vitesse Tps Boucle fermée
Measured sensory consequences Motor commands force State change muscles Body part Integration Sensory system Proprioception Vision Audition Measured sensory consequences 100 ms 40 ms ??? 88
What we sense depends on what we predicted force State change Motor commands muscles Body part Integration Belief Sensory system Proprioception Vision Audition Measured sensory consequences Predicted sensory consequences Forward model What we sense depends on what we predicted
Expérience de saisie Expérience d’auto chatouillage
Modélisation d’une boucle sensorimotrice Apprentissage = passage d’une boucle fermée à une boucle ouverte ?
Une boucle vs. des boucles Hiérarchie de boucles Constantes de temps Apprentissage hiérarchique
Merci de votre attention ! Questions ?