Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 30/11/

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Êtes-vous « Bayésien » ? I’m a bayesian if I use the word “probability”. I’m a bayesian if I use the word “conditional probability”. I’m a bayesian if I use Bayes’ rule. I’m a bayesian if I use Bayes’ rule in order to make inference. I’m a bayesian if I think that probabilities represent states of knowledge. I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Probability Theory As Extended Logic Probabilités « subjectives » –Référence à un état de connaissance d’un sujet P(« il pleut » | Jean), P(« il pleut » | Pierre) Pas de référence à la limite d’occurrence d’un événement (fréquence) Probabilités conditionnelles –P(A | π) et jamais P(A) Probabilités « fréquentistes » –Une probabilité est une propriété physique d’un objet –Axiomatique de Kolmogorov, théorie des ensembles – 3 E.T. Jaynes ( )

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Inférence probabiliste Théorème –Si on connaît la distribution conjointe P(X 1 X 2 … X n | π) –Alors on peut calculer n’importe quelle « question » P(X 1 | [X n = x n ] π) P(X 2 X 4 | [X 3 = x 3 ] π) 4

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Si P(  ) = uniforme – Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P(  )  uniforme –Modèle = prior  vraisemblance Modèle de maximum a posteriori (MAP) Modèle bayésien Posterior Prior Vraisemblance

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de l’action 6

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 7

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modélisation de la perception multi- Multi-? –Intramodale : multi-indice –Multimodale : multi-sensorielle Modèle de pondération linéaire 8 (Lambrey, 2005)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle de pondération linéaire 9

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modélisation de la perception Perception –Un problème inverse (Poggio, 1984) Modèle bayésien –Inversion + hypothèse d’indépendance conditionnelle – 10 stimulus sensations perception

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Vision –Perception des plans : préférence pour des plans rigides, stationnaires (Colas, 06) –Perception des formes (Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène Proprioception (Laurens, 08)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Ambigüités P(V | S) –inversion de P(S | V) –Distribution à plusieurs pics : ambigüité Cas classique –image rétinienne 2 D  objet réel en 3D 12 Cube de Necker

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Forme tirée du mouvement MPI-BC

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Fusion multi-indices –Haptique : géométrie et force (Drewing & Ernst, 06) –Vision (Kersten et al., 04) Fusion multi-sensorielle –Visuo-acoustique Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) Reconnaissance de voyelles (Gilet, 06) –Visuo-haptique (Ernst & Banks, 02)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Fusion visuo-acoustique : effet McGurk 16

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Effet McGurk Audio : ba –Lèvres fermées Vidéo : /ga/ –Lèvres ouvertes Situation de conflit : perception /da/ 17

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Fusion trimodale Stimuli audio, visuels et tactiles Tâche : compter dans chaque modalité 18 (Wozny, Beierholm and Shams, 2008)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Fusion trimodale 19

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 20

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Nature, 429–433, 2002

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Humans integrate visual and haptic information in a statistically optimal fashion Mécanisme d’integration visuo- haptique par fusion de gaussiennes Utilisé par les humains

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Matériel expérimental

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Stimuli visuels

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200% 1 niveau haptique 1 s de présentation Tâche de choix forcé –laquelle de ces deux barres est la plus grande ?

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Cas mono-modal

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Integration visuo-haptique Comparison stimulus –visual and haptic heights equal –vary in mm Standard stimulus –visual and haptic heights differ –Δ = {±6 mm, ±3 mm, 0} –mean is 55 mm 28

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Integration visuo-haptique 0%0% 29

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — %0% 67% Integration visuo-haptique 30

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% Integration visuo-haptique 31

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% 200% Integration visuo-haptique 32

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 33

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle bayésien de fusion « naïve » 34

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle bayésien de fusion « naïve » 35

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Estimateur de maximum de vraisemblance – –Par opposition à Bayésien « Statistiquement optimal » –Moindre variance : Modèle bayésien de fusion « naïve » 36

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Protocole expérimental Modèle bayésien de fusion capteurs Comparaison du modèle au données 37

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Quelles gaussiennes ? Choix d’une gaussienne parmi 2 Point d’égalité subjective –PSE : moyenne Seuil de discrimination – T = x 55 mm 0.04 x 55 mm 38

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Integration visuo-haptique Comparison stimulus –visual and haptic heights equal –vary in mm Standard stimulus –visual and haptic heights differ –Δ = {±6 mm, ±3 mm, 0} –mean is 55 mm 39

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Integration visuo-haptique 40 0% 67% 133% 200%

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — % 67% 133% 200% Comparaison modèle - données 41

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Moyennes prédites - observées

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — JND Variances prédites - observées

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Questions, critiques ? 44

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 45

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modélisation bayésienne de la perception visuo-acoustique de voyelles 46

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Perception audiovisuelle 47

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Perception audiovisuelle 48

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Remarque 49

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modélisation bayésienne de la perception audiovisuelle Trois modèles bayésiens –Modèle M 0 –Modèle M 1 –Modèle M 2 Comparaison bayésienne des modèles 50

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Espace interne de M 0 51

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M0 52

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M0 53

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M0 54

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M0 : résultats 55

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M1 56

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M1 : résultat 57

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M2 58

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modèle M2 : résultat 59

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 60

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Perception audio-visuelle Effet ventriloque (Alais and Burr, 2004) 61

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Causal inference (Körding et al., 07; Sato et al., 07) Y a-t-il une source unique, ou deux sources distinctes ? 62

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Données expérimentales 63

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — Modèle ségrégation totale C=2 Modèle intégration totale C=1 Modèle « causal inference » C variable inconnue  sommation sur C Modèle « causal inference » sans propagation  tirage sur C

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Sommation / tirage P(A B C) = P(A) P(B | A) P(C | B) Inférence de P(C | A) 66 A B C Inférence exacte : sommation Inférence approximée: tirage Tirer b selon P(B | [A=a]) Tirer c selon P(C | [B=b]) Propagation des incertitudes Sommation « dictée » par le formalisme, pas par le modèle !

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Pour chaque sujet –Calcul des paramètres sur la moitié des données : R 2 = 0.98 –Validation croisée sur l’autre moitié : R 2 =

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 68

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Question ouverte De nombreux exemples d’application du modèle de fusion Limite de validité du modèle ? Valeur d’un modèle qui s’applique partout ? 69

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 70

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 —

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Espace de travail Minimisation des dérivées de l’endpoint –n=2 minimum acceleration –n=3 minimum jerk –n=4 minimum snap 72

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Minimum jerk Prédit des segments droits Pas observés pour des mouvements de grande amplitude 73 Lacquaniti et al. (1986)

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Espace des couples moteurs Minimisation des couples z i générés à chaque articulation 74

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Minimum variance Bruit dépendant du signal (signal dependent noise SDN) 75

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Bayesian Decision Theory Modèle probabiliste + modèle de coût (reward, cost, loss function) 76 Prior Posterior Likelihood Cost function X X Bayes theorem Bayesian decision theory output observation  i

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives Modélisation bayésienne de la perception –Introduction à la perception multi- –Perception visuo-haptique (Ernst & Banks, 02) –Perception visuo-acoustique –Causal inference (Körding et al., 07) –Questions ouvertes Modélisation bayésienne de l’action –Modèle de minimum variance Modélisation de la perception et de l’action : boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 77

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Modélisation bayésienne d’une boucle sensorimotrice : application à l’écritureModélisation bayésienne d’une boucle sensorimotrice : application à l’écriture 78

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Pour aller plus loin… Reviews, introductions, … –F. Colas, J. Diard, and P. Bessière. Common bayesian models for common cognitive issues. Acta Biotheoretica, 58(2-3):191–216, ambiguities, fusion, multimodality, conflicts, modularity, hierarchies and loops –N. Chater, M. Oaksford, U. Hahn, and E. Heit. Bayesian models of cognition. WIREs Cognitive Science, 1(6), plus « cognitif » : categorization, learning and causality, language processing, inductive and deductive reasoning, argumentation –R.A. Jacobs and J.K. Kruschke. Bayesian learning theory applied to human cognition. WIREs Cognitive Science, D. M. Wolpert. Probabilistic models in human sensorimotor control. Human Movement Science, 26:511–524, O. Lebeltel, P. Bessière, J. Diard, and E. Mazer. Bayesian robot programming. Autonomous Robots, 16(1):49–79,

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Merci de votre attention ! Questions ?

Julien Diard — LPNC-CNRS Cours M2R Psychologie Cognitive — UE18S3 — 2010 Plan Introduction à la modélisation bayésienne –En sciences cognitives (intro, resume 10) Modélisation bayésienne de la perception –Introduction à la perception multi-15 –Perception visuo-haptique (Ernst & Banks, 02)45 –Perception visuo-acoustique20 –Causal inference (Körding et al., 07)(pause 15)15 –Questions ouvertes Modélisation bayésienne de l’action15 –Modèle de minimum variance Modélisation de la perception et de l’action : 30 boucles sensorimotrices –Exemple : modélisation de l’écriture et de la lecture avec simulation motrice 81