Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 16/12/

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Êtes-vous « Bayésien » ? I’m a bayesian if I use the word “probability”. I’m a bayesian if I use the word “conditional probability”. I’m a bayesian if I use Bayes’ rule. I’m a bayesian if I use Bayes’ rule in order to make inference. I’m a bayesian if I think that probabilities represent states of knowledge. I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Probability Theory As Extended Logic Probabilités « subjectives » –Référence à un état de connaissance d’un sujet P(« il pleut » | Jean), P(« il pleut » | Pierre) Pas de référence à la limite d’occurrence d’un événement (fréquence) Probabilités conditionnelles –P(A | π) et jamais P(A) Probabilités « fréquentistes » –Une probabilité est une propriété physique d’un objet –Axiomatique de Kolmogorov, théorie des ensembles – 3 E.T. Jaynes ( )

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Inférence probabiliste Théorème –Si on connaît la distribution conjointe P(X 1 X 2 … X n | π) –Alors on peut calculer n’importe quelle « question » P(X 1 | [X n = x n ] π) P(X 2 X 4 | [X 3 = x 3 ] π) 4

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Si P(  ) = uniforme – Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P(  )  uniforme –Modèle = prior  vraisemblance Modèle de maximum a posteriori (MAP) Modèle bayésien Posterior Prior Vraisemblance

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de l’action 6

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 7

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modélisation de la perception multi- Multi-? –Intramodale : multi-indice –Multimodale : multi-sensorielle Modèle de pondération linéaire 8 (Lambrey, 2005)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle de pondération linéaire 9

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modélisation de la perception Perception –Un problème inverse (Poggio, 1984) Modèle bayésien –Inversion + hypothèse d’indépendance conditionnelle – 10

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Vision –Perception des plans : préférence pour des plans rigides, stationnaires (Colas, 06) –Perception des formes (Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène Proprioception (Laurens, 08)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Ambigüités P(V | S) –inversion de P(S | V) –Distribution à plusieurs pics : ambigüité Cas classique –image rétinienne 2 D  objet réel en 3D 12 Cube de Necker

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Forme tirée du mouvement MPI-BC

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Fusion multi-indices –Haptique : géométrie et force (Drewing & Ernst, 06) –Vision (Kersten et al., 04) Fusion multi-sensorielle –Visuo-acoustique Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) effet McGurk Reconnaissance de voyelles (Gilet, 06) –Visuo-haptique (Ernst & Banks, 02)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Effet McGurk Audio : ba –Lèvres fermées Vidéo : /ga/ –Lèvres ouvertes Situation de conflit : perception /da/ 17

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 18

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Nature, 429–433, 2002

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Humans integrate visual and haptic information in a statistically optimal fashion Mécanisme d’integration visuo- haptique par fusion de gaussiennes Utilisé par les humains

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Matériel expérimental

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Stimuli visuels

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200% 1 niveau haptique 1 s de présentation Tâche de choix forcé –laquelle de ces deux barres est la plus grande ?

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Cas mono-modal

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Integration visuo-haptique Comparison stimulus –visual and haptic heights equal –vary in mm Standard stimulus –visual and haptic heights differ –Δ = {±6 mm, ±3 mm, 0} –mean is 55 mm 26

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Integration visuo-haptique 0%0% 27

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — %0% 67% Integration visuo-haptique 28

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% Integration visuo-haptique 29

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% 200% Integration visuo-haptique 30

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 31

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle bayésien de fusion « naïve » 32

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle bayésien de fusion « naïve » 33

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Estimateur de maximum de vraisemblance – –Par opposition à Bayésien « Statistiquement optimal » –Moindre variance : Modèle bayésien de fusion « naïve » 34

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 35

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Quelles gaussiennes ? Choix d’une gaussienne parmi 2 Point d’égalité subjective –PSE : moyenne Seuil de discrimination – T = x 55 mm 0.04 x 55 mm 36

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Integration visuo-haptique Comparison stimulus –visual and haptic heights equal –vary in mm Standard stimulus –visual and haptic heights differ –Δ = {±6 mm, ±3 mm, 0} –mean is 55 mm 37

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Integration visuo-haptique 38 0% 67% 133% 200%

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% 200% Comparaison modèle - données 39

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Moyennes prédites - observées

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — JND Variances prédites - observées

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Questions, critiques ? 42

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 43

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modélisation bayésienne de la perception visuo-acoustique de voyelles 44

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Perception audiovisuelle 45

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Perception audiovisuelle 46

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Remarque 47

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modélisation bayésienne de la perception audiovisuelle Trois modèles bayésiens –Modèle M 0 –Modèle M 1 –Modèle M 2 Comparaison bayésienne des modèles 48

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Espace interne de M 0 49

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M0 50

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M0 51

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M0 52

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M0 : résultats 53

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M1 54

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M1 : résultat 55

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M2 56

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modèle M2 : résultat 57

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 58

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Perception audio-visuelle Effet ventriloque (Alais and Burr, 2004) 59

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Causal inference (Körding et al., 07) Modèle à 1 source, modèle à 2 sources Intégration sur s, s A, s v, C 60

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Données expérimentales 61

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Pour chaque sujet –Calcul des paramètres sur la moitié des données : R 2 = 0.98 –Validation croisée sur l’autre moitié : R 2 =

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Modèle sans sommation sur C (tirage du C le plus probable) Modèle sans alternative à 2 sources : P(C=1) = 1 Modèle sans alternative à 1 source : P(C=2) = 1

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 65

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Question ouverte De nombreux exemples d’application du modèle de fusion Limite de validité du modèle ? Valeur d’un modèle qui s’applique partout ? 66

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 67

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Espace de travail Minimisation des dérivées de l’endpoint –n=2 minimum acceleration –n=3 minimum jerk –n=4 minimum snap 69

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Minimum jerk Prédit des segments droits Pas observés pour des mouvements de grande amplitude 70 Lacquaniti et al. (1986)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Espace des couples moteurs Minimisation des couples z i générés à chaque articulation 71

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Minimum variance Bruit dépendant du signal (signal dependent noise SDN) 72

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 73

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Modélisation bayésienne d’une boucle sensorimotrice : application à l’écritureModélisation bayésienne d’une boucle sensorimotrice : application à l’écriture 74

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Merci de votre attention ! Questions ?

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2009 Plan Introduction à la modélisation bayésienne –En sciences cognitives (intro, resume 10) Modélisation bayésienne de la perception –Introduction à la perception multi-15 –Perception visuo-haptique (Ernst & Banks, 02)45 –Perception visuo-acoustique20 –Causal inference (Körding et al., 07)(pause 15)15 –Questions ouvertes Modélisation bayésienne de l’action15 –Modèle de minimum variance Modélisation de la perception et de l’action : 45 boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 76