Cours 4 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 16/01/2012 (& 19/01/2012) http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr.

Présentation au sujet: "Cours 4 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 16/01/2012 (& 19/01/2012) http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr."— Transcription de la présentation:

1 Cours 4 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 16/01/2012 (& 19/01/2012)

2 Plan des cours Introduction à la Programmation Bayésienne : incomplétude, incertitude Programmation bayésienne : exemple détaillé Classes de modèles probabilistes, distributions usuelles, Programmation bayésienne des robots Modélisation bayésienne de la perception et de l’action Comparaison bayésienne de modèles Compléments : inférence, apprentissage, principe d’entropie

3 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

4 Bayesian Program = Description + Question
Specification Identification Description Question Program Variables Parametrical Forms or Recursive Question Decomposition Preliminary Knowledge p Experimental Data d Inference

5 Learning Reactive Behaviors
Khepera Robot Avoiding Obstacle Contour Following Piano mover Phototaxy etc. Lebeltel, O., Bessière, P., Diard, J. & Mazer, E. (2004) Bayesian Robot Programming; Autonomous Robots, Vol. 16, p Lebeltel, O. (1999) Programmation bayésienne des robots; Thèse INPG

6 Reactive behaviours Description Program Question d d Specification
Variables Decomposition Description Question Parametrical Forms Program  Preliminary Knowledge p Identification Joystick Remote Control  Experimental Data d d d1 pushing obstacles d2 contour following d3 obstacle avoidance Utilization d

7 Sensor Fusion Model Description Program Question Utilization
Specification Variables ThetaL, DistL, Lm0, …, Lm7 Description Question Decomposition (Conditional Independance Hypothesis) Parametrical Forms Program Identification No free parameters Utilization

8

9 Object Recognition (Model)
Specification Variables Nlt, Nrt, Per, Llsl, O = {0, 1, 2, …} Decomposition (Conditional Independance Hypothesis) Description Question Parametrical Forms Program Nlt: Number of left turns Nlr: Number of right turns Per: Perimeter Llsl: Length of longest straight line O: Object identifier Identification Identification of the Laplace succession laws and Gaussians Utilization

10 Bayesian Bot Specification Description Program Identification Question
Variables Decomposition Parametric Forms Perception: L Life, W Weapon, FW Foe Weapon, N Noise, FN Foe Number, PW Proximity Weapon, PL Proximity Life State: St, St+1 {Attack, Weapon Search, Life Search, Exploration, Escape, Danger Detection} Description P(St St+1 L W FW N FN PW PL) = P(St) P(St+1 | St) P(L | St+1) P(W | St+1) P(FW | St+1) P(N | St+1) P(FN | St+1) P(PW | St+1) P(PL | St+1) Program Tables Identification Question Utilization Playing: P(St+1 |St L W FW N FN PW PL)

11 Inférence exacte Inférence approximée
sommation, propagation des incertitudes Inférence approximée décisions intermédiaires (tirage de points), propagation d’une partie des incertitudes

12 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

13 Pour aller plus loin… Reviews, introductions, …
Numéro spécial Trends in Cognitive Sciences 2006, 10(7) l’édito : N. Chater, J. B. Tenenbaum, and A. Yuille. Probabilistic models of cognition: Conceptual foundations. Trends in Cognitive Sciences, 10(7):287–291, 2006. F. Colas, J. Diard, and P. Bessière. Common bayesian models for common cognitive issues. Acta Biotheoretica, 58(2-3):191–216, 2010. ambiguities, fusion, multimodality, conflicts, modularity, hierarchies and loops N. Chater, M. Oaksford, U. Hahn, and E. Heit. Bayesian models of cognition. WIREs Cognitive Science, 1(6), 2010. plus « cognitif » : categorization, learning and causality, language processing, inductive and deductive reasoning, argumentation R.A. Jacobs and J.K. Kruschke. Bayesian learning theory applied to human cognition. WIREs Cognitive Science, 2010. M. Jones and B. Love. Bayesian fundamentalism or enlightenment? on the explanatory status and theoretical contributions of bayesian models of cognition. Behavioral and Brain Sciences, 34:169–231, 2011. Article cible BBS, suivi de commentaires

14 Pour aller plus loin… Modèles sensori-moteurs en robotique
O. Lebeltel, P. Bessière, J. Diard, and E. Mazer. Bayesian robot programming. Autonomous Robots, 16(1):49–79, 2004. Modèles sensoriels et moteurs en sciences du vivant D. Kersten, P. Mamassian, and A. Yuille. Object perception as bayesian inference. annu Rev Psychol, 55:271–304, 2004. D. M. Wolpert. Probabilistic models in human sensorimotor control. Human Movement Science, 26:511–524, 2007. Statistiques bayésiennes J. K. Kruschke. Bayesian data analysis. WIREs Cognitive Science, 1:658–676, 2010. J. K. Kruschke. What to believe: Bayesian methods for data analysis. Trends in Cognitive Science, 14:293–300, 2010.

15 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

16 Modélisation de la perception multi-
Intramodale : multi-indice Multimodale : multi-sensorielle Modèle de pondération linéaire (Lambrey, 2005)

17 Modèle de pondération sensorielle

18 Modélisation de la perception
stimulus Perception Un problème inverse (Poggio, 1984) Modèle bayésien Inversion + hypothèse d’indépendance conditionnelle sensations

19 Vision Perception des plans : préférence pour des plans rigides, stationnaires (Colas, 06) Perception des formes (Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène

20 Ambigüités P(V | S) Cas classique Cube de Necker inversion de P(S | V)
Distribution à plusieurs pics : ambigüité Cas classique image rétinienne 2 D  objet réel en 3D

21 Forme tirée du mouvement
MPI-BC

22 Forme tirée du mouvement
MPI-BC

23 Forme tirée des ombres

24 Proprioception (Laurens, 07)

25 Fusion multi-sensorielle
Fusion multi-indices Haptique : géométrie et force (Drewing & Ernst, 06) Vision (Kersten et al., 04) Fusion multi-sensorielle Visuo-acoustique Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) Reconnaissance de voyelles (Gilet, 06) Visuo-haptique (Ernst & Banks, 02)

26 Fusion visuo-acoustique : effet McGurk

27 Effet McGurk Audio : ba Vidéo : /ga/
Lèvres fermées Vidéo : /ga/ Lèvres ouvertes Situation de conflit : perception /da/

28 Fusion trimodale Stimuli audio, visuels et tactiles
Tâche : compter dans chaque modalité (Wozny, Beierholm and Shams, 2008)

29 Fusion trimodale

30 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

31 Nature, 429–433, 2002

32 Humans integrate visual and haptic information in a statistically optimal fashion
Mécanisme d’integration visuo-haptique par fusion de gaussiennes Utilisé par les humains

33 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données

34 Matériel expérimental

35 Stimuli visuels

36 Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200%
1 niveau haptique 1 s de présentation Tâche de choix forcé laquelle de ces deux barres est la plus grande ?

37 Cas mono-modal 2 barres en séquence L’une à 55 mm (standard stimulus)
L’autre de taille variable, entre 47 et 63 mm (comparison stimulus)

38 Cas mono-modal

39 Cas multi-modal 2 barres en séquence
L’une composée d’une taille visuelle SV et d’une taille haptique SH | SH - SV | = D = 0, 3 ou 6 mm (SH + SV) / 2 = 55 mm  standard stimulus L’autre de taille variable entre 47 et 63 mm  comparison stimulus

40 Integration visuo-haptique
0%

41 Integration visuo-haptique
0% 67%

42 Integration visuo-haptique
0% 67% 133%

43 Integration visuo-haptique
0% 67% 133% 200%

44 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données

45 Modèle bayésien de fusion « naïve »

46 Modèle bayésien de fusion « naïve »

47 Modèle bayésien de fusion « naïve »
Estimateur de maximum de vraisemblance Par opposition à Bayésien « Statistiquement optimal » Moindre variance :

48 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données

49 Quelles gaussiennes ? Choix d’une gaussienne parmi 2
T = x 55 mm Choix d’une gaussienne parmi 2 L’inversion est une sigmoïde… Point d’égalité subjective PSE : moyenne Seuil de discrimination 0.04 x 55 mm

50 Integration visuo-haptique
Comparison stimulus visual and haptic heights equal vary in mm Standard stimulus visual and haptic heights differ Δ = {±6 mm, ±3 mm, 0} mean is 55 mm

51 Integration visuo-haptique
0% 67% 133% 200%

52 Comparaison modèle - données
0% 67% 133% 200%

53 Moyennes prédites - observées

54 Variances prédites - observées
JND

55 Questions, critiques ?

56 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

57 Perception audio-visuelle
Effet ventriloque (Alais and Burr, 2004)

58 Causal inference (Körding et al., 07; Sato et al., 07)
Y a-t-il une source unique, ou deux sources distinctes ?

59 Données expérimentales

60

61 Modèle ségrégation totale
C=2 Modèle intégration totale C=1 Modèle « causal inference » C variable inconnue  sommation sur C Modèle « causal inference » sans propagation  tirage sur C / max sur C

62 Sommation / tirage P(A B C) = P(A) P(B | A) P(C | B)
Inférence de P(C | A) Inférence exacte : sommation Inférence approximée: tirage Tirer b selon P(B | [A=a]) Tirer c selon P(C | [B=b]) Propagation des incertitudes Sommation « dictée » par le formalisme, pas par le modèle !

63 Pour chaque sujet Calcul des paramètres sur la moitié des données : R2 = 0.98 Validation croisée sur l’autre moitié : R2 = 0.96

64 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

65 Question ouverte De nombreux exemples d’application du modèle probabiliste de fusion

66 Cerveau bayésien ? Comment montrer que le traitement est « bayésien » ? Les modèles bayésien sont sous-contraints ! Extension de la logique, on peut donc tout exprimer Valeur d’un modèle qui s’applique partout ? L’inférence bayésienne est contrainte ! Si on suppose des gaussiennes, leur fusion est… L’inférence implique des marginalisations

67 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

68 Modélisation du contrôle
Mouvements de pointage, volontaire, chez l’humain Etude des régularités Lois du mouvement Isochronie, loi de Fitts, loi de la puissance 2/3 Hypothèses sur les mécanismes Modèles (neuro)cognitifs

69 Modèles de planification de mouvements
Sélection d’une trajectoire selon un coût

70 Espaces de contrôle Planification intrinsèque
Espace articulaire Planification extrinsèque Espace cartésien

71 Observations Trajectoires de la main Dans l’espace articulaire
invariantes et quasiment rectilignes dans l’espace cartésien quelles que soit les positions initiales et terminales du mouvement profil de vitesse en cloche Dans l’espace articulaire grande variabilité

72 Modèle d’interpolation linéaire dans l’espace articulaire
Changement angulaire des articulations Trajectoire observée D’après Hollerbach & Atkeson (1986)

73 Modèle d’interpolation linéaire dans l’espace articulaire
β α

74 Quelle grandeur manipulée par le système de contrôle ?
+ free energy principle (Friston 10) + inactivation principle (Berret 08) + …

75 Espace de travail Minimisation des dérivées de l’endpoint
n=2 minimum acceleration n=3 minimum jerk n=4 minimum snap

76 Minimum jerk Prédit des segments droits
Pas observés pour des mouvements de grande amplitude Lacquaniti et al. (1986)

77 Espace des couples moteurs
Minimisation des couples zi générés à chaque articulation

78 Minimum variance Bruit dépendant du signal (signal dependent noise SDN)

79 Bayesian Decision Theory
Modèle probabiliste + modèle de coût (reward, cost, loss function) Bayes theorem Prior Bayesian decision theory X Posterior observation di Likelihood X output Cost function

80 Plan Résumé + questions ! Modélisation bayésienne de la perception
Introduction à la perception multi- Perception visuo-haptique : (Ernst & Banks, 02) détaillé Causal Inference Questions ouvertes Modélisation bayésienne de l’action Introduction au contrôle moteur, Modèle de minimum variance Modélisation de la perception et de l’action Exemple : modèles sensoriels et moteurs de la perception et de la production de la parole

81 Modélisation bayésienne de la perception et de la production de la parole

82 Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

83 Merci de votre attention !
Questions ?