Modélisation bayésienne de la perception et de l’action

Présentation au sujet: "Modélisation bayésienne de la perception et de l’action"— Transcription de la présentation:

1 Modélisation bayésienne de la perception et de l’action
Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 24/11/2009

2 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

3 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

4 Modélisation de la perception multi-
Intramodale : multi-indice Multimodale : multi-sensorielle Modèle de pondération linéaire (Lambrey, 2005)

5 Modèle de pondération sensorielle

6 Modélisation de la perception
Un problème inverse (Poggio, 1984) Modèle bayésien Inversion + hypothèse d’indépendance conditionnelle

7 Proprioception (Laurens, 08)
Vision Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06) Perception des formes (revue de Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène Proprioception (Laurens, 08)

8 Fusion multi-sensorielle
Fusion multi-indices Haptique : géométrie et force (Drewing & Ernst, 06) Vision (Kersten et al., 04) Fusion multi-sensorielle Visuo-haptique (Ernst & Banks, 02) Visuo-acoustique Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) effet McGurk Reconnaissance de voyelles (Gilet, 06)

9 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

10 Nature, 429–433, 2002

11 Humans integrate visual and haptic information in a statistically optimal fashion
Mécanisme d’integration visuo-haptique par fusion de gaussiennes Utilisé par les humains

12 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données

13 Matériel expérimental
Conflit visuo-haptique de perception des longueurs Modèle dominant : MLE Ernst et al. (2002, Nature) MLE : cas particulier de la superposition des cartes bayésiennes Limites mathématiques Apprentissage affecte la précision de chaque modalité mais pas l’opérateur de fusion Conséquence Indépendance des facteurs antérieurs aspects dynamiques, action pour la perception consignes, attention Question Opérateur de fusion est-il cognitivement pénétrable ? Hypothèse vision non pénétrable, haptique oui modulable par l’expérience, opérateur inné ?

14 Stimuli visuels

15 Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200%
1 niveau haptique 1 s de présentation Tâche de choix forcé laquelle de ces deux barres est la plus grande ?

16 Cas mono-modal

17 Integration visuo-haptique
Comparison stimulus visual and haptic heights equal vary in mm Standard stimulus visual and haptic heights differ Δ = {±6 mm, ±3 mm, 0} mean is 55 mm

18 Integration visuo-haptique
0%

19 Integration visuo-haptique
0% 67%

20 Integration visuo-haptique
0% 67% 133%

21 Integration visuo-haptique
0% 67% 133% 200%

22 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données 22

23 Modèle bayésien de fusion « naïve »
23

24 Modèle bayésien de fusion « naïve »
24

25 Modèle bayésien de fusion « naïve »
Estimateur de maximum de vraisemblance Par opposition à Bayésien « Statistiquement optimal » Moindre variance : 25

26 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données 26

27 Quelles gaussiennes ? Choix d’une gaussienne parmi 2
T = x 55 mm Choix d’une gaussienne parmi 2 Point d’égalité subjective PSE : moyenne Seuil de discrimination 0.04 x 55 mm 27

28 Integration visuo-haptique
Comparison stimulus visual and haptic heights equal vary in mm Standard stimulus visual and haptic heights differ Δ = {±6 mm, ±3 mm, 0} mean is 55 mm

29 Integration visuo-haptique
0% 67% 133% 200%

30 Comparaison modèle - données
0% 67% 133% 200%

31 Moyennes prédites - observées
31

32 Variances prédites - observées
JND 32

33 Questions, critiques ?

34 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

35 Perception audio-visuelle
Effet ventriloque (Alais and Burr, 2004)

36 Causal inference (Körding et al., 07)
Modèle à 1 source, modèle à 2 sources Intégration sur s, sA, sv, C

37 Données expérimentales

38

39 Pour chaque sujet Calcul des paramètres sur la moitié des données : R2 = 0.98 Validation croisée sur l’autre moitié : R2 = 0.96

40 Modèle sans sommation sur C
(tirage du C le plus probable) Modèle sans alternative à 2 sources : P(C=1) = 1 Modèle sans alternative à 1 source : P(C=2) = 1

41 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

42 Question ouverte De nombreux exemples d’application du modèle de fusion Limite de validité du modèle ? Valeur d’un modèle qui s’applique partout ?

43 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

44 Modélisation du contrôle
Mouvements de pointage, volontaire, chez l’humain Etude des régularités Lois du mouvement Hypothèses sur les mécanismes Modèles (neuro)cognitifs

45 3 lois Isochronie Loi de Fitts Loi de la puissance 2/3

46 Tâche : Saisie d’un cylindre à différentes distances (40,32,25)
Palluel-Germain, 08 L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement Ex : Saisie (Jeannerod 1984) Vitesse (cm/s) Tâche : Saisie d’un cylindre à différentes distances (40,32,25) Résultats : Temps similaire/augmentation de la vitesse Durée (ms) La durée du mouvement semble fixée à l’avance

47 Cible de taille W à une distance D

48 Loi de puissance de 2/3 V(t) = K * R(t) 1-β K = gain de vitesse V(t) = vitesse du mouvement R(t) = rayon de courbure 1-β = 1/3

49 Modèles de planification de mouvements
Sélection d’une trajectoire selon un coût

50 Observations Les trajectoires de la main sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche. Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée

51 Espaces de contrôle Planification intrinsèque
Espace articulaire Planification extrinsèque Espace cartésien

52 Modèle d’interpolation linéaire dans l’espace articulaire
Changement angulaire des articulations Trajectoire observée D’après Hollerbach & Atkeson (1986)

53 Modèle d’interpolation linéaire dans l’espace articulaire
β α

54

55 Espace de travail Minimisation des dérivées de l’endpoint
n=2 minimum acceleration n=3 minimum jerk n=4 minimum snap

56 Minimum jerk Prédit des segments droits
Pas observés pour des mouvements de grande amplitude Lacquaniti et al. (1986)

57 Espace des couples moteurs
Minimisation des couples zi générés à chaque articulation

58 Minimum variance Bruit dépendant du signal (signal dependent noise SDN)

59 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

60 Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

61 Plan Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Causal Inference (Körding et al., 07) Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur Modèle de minimum variance Modélisation de la perception et de l’action: boucles sensorimotrices Exemple : modélisation de l’écriture

62 Questions ouvertes Modélisation bayésienne de boucles sensorimotrices
 Vraiment ?

63 Boucle ouverte force State change Motor commands muscles Body part

64 Measured sensory consequences
Motor commands force State change muscles Body part Integration Sensory system Proprioception Vision Audition Measured sensory consequences Vitesse Tps Boucle fermée

65 Measured sensory consequences
Motor commands force State change muscles Body part Integration Sensory system Proprioception Vision Audition Measured sensory consequences 100 ms 40 ms ??? 65

66 What we sense depends on what we predicted
force State change Motor commands muscles Body part Integration Belief Sensory system Proprioception Vision Audition Measured sensory consequences Predicted sensory consequences Forward model What we sense depends on what we predicted

67 Expérience de saisie Expérience d’auto chatouillage

68 Modélisation d’une boucle sensorimotrice
Apprentissage = passage d’une boucle fermée à une boucle ouverte ?

69 Une boucle vs. des boucles
Hiérarchie de boucles Constantes de temps Apprentissage hiérarchique

70 Merci de votre attention !
Questions ?