Introduction à la modélisation bayésienne

Présentation au sujet: "Introduction à la modélisation bayésienne"— Transcription de la présentation:

1 Introduction à la modélisation bayésienne
Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 13/11/2012

2 Êtes-vous « Bayésien » ? I’m a bayesian if I use the word “probability”. I’m a bayesian if I use the word “conditional probability”. I’m a bayesian if I use Bayes’ rule. I’m a bayesian if I use Bayes’ rule in order to make inference. I’m a bayesian if I think that probabilities represent states of knowledge. I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier

3 Probability Theory As Extended Logic
Probabilités « fréquentistes » Une probabilité est une propriété physique d’un objet Axiomatique de Kolmogorov, théorie des ensembles Statistiques classiques Population parente, etc. Probabilités « subjectives » Référence à un état de connaissance d’un sujet P(« il pleut » | Jean), P(« il pleut » | Pierre) Pas de référence à la limite d’occurrence d’un événement (fréquence) Probabilités conditionnelles P(A | π) et jamais P(A) Statistiques bayésiennes E.T. Jaynes ( )

4 Inférence probabiliste
Théorème Si on connaît la distribution conjointe P(X1 X2 … Xn | π) Alors on peut calculer n’importe quelle « question » P(X1 | [Xn = xn] π) P(X2 X4 | [X3 = x3] π)

5 Si P() = uniforme Si P()  uniforme Modèle = prior  vraisemblance
Posterior Prior Vraisemblance Si P() = uniforme Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P()  uniforme Modèle = prior  vraisemblance Modèle de maximum a posteriori (MAP) Modèle bayésien

6 Plan Introduction à la modélisation bayésienne
En Intelligence Artificielle Historique En robotique Exemple de Programme Bayésien En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » En sciences cognitives Modélisation de la perception et de l’action

7 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

8 Modélisation de la perception multi-
Intramodale : multi-indice Multimodale : multi-sensorielle Modèle de pondération linéaire (Lambrey, 2005)

9 Modèle de pondération linéaire

10 Modélisation de la perception
stimulus Perception Un problème inverse (Poggio, 1984) Modèle bayésien Inversion + hypothèse d’indépendance conditionnelle sensations

11 Vision Perception des plans : préférence pour des plans rigides, stationnaires (Colas, 06) Perception des formes (Kersten et al., 04) : préférence pour les objets convexes préférence pour des lumières venant du haut, stationnaires préférence pour un point de vue situé au dessus de la scène

12

13 Ambigüités P(V | S) Cas classique Cube de Necker inversion de P(S | V)
Distribution à plusieurs pics : ambigüité Cas classique image rétinienne 2 D  objet réel en 3D

14 Forme tirée du mouvement
MPI-BC

15 Proprioception (Laurens, 07)

16 Fusion multi-sensorielle
Fusion multi-indices Haptique : géométrie et force (Drewing & Ernst, 06) Vision (Kersten et al., 04) Fusion multi-sensorielle Visuo-acoustique Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07) Visuo-haptique (Ernst & Banks, 02)

17 Fusion visuo-acoustique : effet McGurk

18 Effet McGurk Audio : ba Vidéo : /ga/
Lèvres fermées Vidéo : /ga/ Lèvres ouvertes Situation de conflit : perception /da/

19 Fusion trimodale Stimuli audio, visuels et tactiles
Tâche : compter dans chaque modalité (Wozny, Beierholm and Shams, 2008)

20 Fusion trimodale

21 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

22 Nature, 429–433, 2002

23 Humans integrate visual and haptic information in a statistically optimal fashion
Mécanisme d’integration visuo-haptique par fusion de gaussiennes Utilisé par les humains

24 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données

25 Matériel expérimental
Conflit visuo-haptique de perception des longueurs Modèle dominant : MLE Ernst et al. (2002, Nature) MLE : cas particulier de la superposition des cartes bayésiennes Limites mathématiques Apprentissage affecte la précision de chaque modalité mais pas l’opérateur de fusion Conséquence Indépendance des facteurs antérieurs aspects dynamiques, action pour la perception consignes, attention Question Opérateur de fusion est-il cognitivement pénétrable ? Hypothèse vision non pénétrable, haptique oui modulable par l’expérience, opérateur inné ?

26 Stimuli visuels

27 Stimuli et tâche 4 niveaux de bruit visuel : 0% 67% 133% 200%
1 niveau haptique 1 s de présentation Tâche de choix forcé laquelle de ces deux barres est la plus grande ?

28 Cas mono-modal

29 Integration visuo-haptique
Comparison stimulus visual and haptic heights equal vary in mm Standard stimulus visual and haptic heights differ Δ = {±6 mm, ±3 mm, 0} mean is 55 mm

30 Integration visuo-haptique
0%

31 Integration visuo-haptique
0% 67%

32 Integration visuo-haptique
0% 67% 133%

33 Integration visuo-haptique
0% 67% 133% 200%

34 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données 34

35 Modèle bayésien de fusion « naïve »
35

36 Modèle bayésien de fusion « naïve »
36

37 Modèle bayésien de fusion « naïve »
Estimateur de maximum de vraisemblance Par opposition à Bayésien « Statistiquement optimal » Moindre variance : 37

38 Plan Protocole expérimental Modèle bayésien de fusion capteurs
Comparaison du modèle au données 38

39 Quelles gaussiennes ? Choix d’une gaussienne parmi 2
T = x 55 mm Choix d’une gaussienne parmi 2 Point d’égalité subjective PSE : moyenne Seuil de discrimination 0.04 x 55 mm 39

40 Integration visuo-haptique
Comparison stimulus visual and haptic heights equal vary in mm Standard stimulus visual and haptic heights differ Δ = {±6 mm, ±3 mm, 0} mean is 55 mm

41 Integration visuo-haptique
0% 67% 133% 200%

42 Comparaison modèle - données
0% 67% 133% 200%

43 Moyennes prédites - observées
43

44 Variances prédites - observées
JND 44

45 Questions, critiques ?

46 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

47 Perception audio-visuelle
Effet ventriloque (Alais and Burr, 2004)

48 Causal inference (Körding et al., 07; Sato et al., 07)
Y a-t-il une source unique, ou deux sources distinctes ?

49 Données expérimentales

50

51 Modèle ségrégation totale
C=2 Modèle intégration totale C=1 Modèle « causal inference » C variable inconnue  sommation sur C Modèle « causal inference » sans propagation  tirage sur C

52 Sommation / tirage P(A B C) = P(A) P(B | A) P(C | B)
Inférence de P(C | A) Inférence exacte : sommation Inférence approximée: tirage Tirer b selon P(B | [A=a]) Tirer c selon P(C | [B=b]) Propagation des incertitudes Sommation « dictée » par le formalisme, pas par le modèle !

53 Pour chaque sujet Calcul des paramètres sur la moitié des données : R2 = 0.98 Validation croisée sur l’autre moitié : R2 = 0.96

54 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

55 Question ouverte De nombreux exemples d’application du modèle de fusion Limite de validité du modèle ? Valeur d’un modèle qui s’applique partout ?  cf. le débat sur les modèles bayésiens en Sciences Cognitives

56 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

57

58 Espace de travail Minimisation des dérivées du mouvement de l’extrêmité n=2 minimum acceleration n=3 minimum jerk n=4 minimum snap

59 Minimum jerk Prédit des segments droits
Pas observés pour des mouvements de grande amplitude Lacquaniti et al. (1986)

60 Espace des couples moteurs
Minimisation des couples zi générés à chaque articulation

61 Minimum variance Bruit dépendant du signal (signal dependent noise SDN)

62 Bayesian integration in sensorimotor learning
(Körding & Wolpert, Nature, 2004)

63 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

64 Représentation des probabilités dans le CNS
Tversky & Kahneman, Science, 1981 Sur-estimation des probabilités faibles Sous-estimation des probabilités fortes Traite les effets positifs et négatifs différemment

65 Bayesian Decision Theory
Modèle probabiliste + modèle de coût (reward, cost, loss function) Bayes theorem Prior Bayesian decision theory X Posterior observation di Likelihood X output Cost function

66 Voici les Tufas (Tenenbaum et al., Science, 2011)

67 Est-ce que c’est un Tufa ?

68

69 Prior uniforme sur le tirage des Tufas dans leur catégorie

70 Apprentissage des structures
Mais aussi apprentissage des régularités grammaticales Chater & Manning, TICS, 2006 (Tenenbaum et al., Science, 2011)

71 Apprentissage bayésien chez les enfants
8 mois Surprise sur l’événement de faible probabilité Xu & Garcia, PNAS, 2008 Gopnik, Science, 2012

72 Apprentissage bayésien chez les enfants
30 mois Apprentissage de structure causale Gopnik & Schulz, TICS, 2004 Griffiths et al., Cognitive Science, 2011

73 Plan Introduction à la modélisation bayésienne En sciences cognitives
Modélisation bayésienne de la perception Introduction à la perception multi- Perception visuo-haptique (Ernst & Banks, 02) Perception visuo-acoustique Causal inference (Körding et al., 07) Question ouverte Modélisation bayésienne de l’action Modèle de minimum variance Modélisation bayésienne ailleurs Modélisation de la perception et de l’action : boucles sensorimotrices Exemple : modélisation de l’écriture et de la lecture Exemple : modélisation de la perception et de la production de parole

74 Modélisation bayésienne d’une boucle sensorimotrice : application à la lecture et à l’écriture

75 Modélisation bayésienne d’une boucle sensorimotrice : application à la perception et la production de la parole

76 Merci de votre attention !
Questions ?