La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et.

Présentations similaires


Présentation au sujet: "Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et."— Transcription de la présentation:

1 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 22/11/2011 http://diard.wordpress.comhttp://diard.wordpress.com Julien.Diard@upmf-grenoble.fr

2 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Pour aller plus loin… Reviews, introductions, … –Numéro spécial Trends in Cognitive Sciences 2006, 10(7) –lédito : N. Chater, J. B. Tenenbaum, and A. Yuille. Probabilistic models of cognition: Conceptual foundations. Trends in Cognitive Sciences, 10(7):287–291, 2006. –F. Colas, J. Diard, and P. Bessière. Common bayesian models for common cognitive issues. Acta Biotheoretica, 58(2-3):191–216, 2010. ambiguities, fusion, multimodality, conflicts, modularity, hierarchies and loops –N. Chater, M. Oaksford, U. Hahn, and E. Heit. Bayesian models of cognition. WIREs Cognitive Science, 1(6), 2010. plus « cognitif » : categorization, learning and causality, language processing, inductive and deductive reasoning, argumentation –R.A. Jacobs and J.K. Kruschke. Bayesian learning theory applied to human cognition. WIREs Cognitive Science, 2010. –M. Jones and B. Love. Bayesian fundamentalism or enlightenment? on the explanatory status and theoretical contributions of bayesian models of cognition. Behavioral and Brain Sciences, 34:169–231, 2011. Article cible BBS, suivi de commentaires 2

3 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Pour aller plus loin… Modèles sensori-moteurs en robotique –O. Lebeltel, P. Bessière, J. Diard, and E. Mazer. Bayesian robot programming. Autonomous Robots, 16(1):49–79, 2004. Modèles sensoriels et moteurs en sciences du vivant –D. Kersten, P. Mamassian, and A. Yuille. Object perception as bayesian inference. annu Rev Psychol, 55:271–304, 2004. –D. M. Wolpert. Probabilistic models in human sensorimotor control. Human Movement Science, 26:511–524, 2007. –& cf. cours 2 Statistiques bayésiennes –J. K. Kruschke. Bayesian data analysis. WIREs Cognitive Science, 1:658–676, 2010. –J. K. Kruschke. What to believe: Bayesian methods for data analysis. Trends in Cognitive Science, 14:293–300, 2010. 3

4 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 4 Êtes-vous « Bayésien » ? Im a bayesian if I use the word probability. Im a bayesian if I use the word conditional probability. Im a bayesian if I use Bayes rule. Im a bayesian if I use Bayes rule in order to make inference. Im a bayesian if I think that probabilities represent states of knowledge. Im a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. Im a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). Im a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Pierre Dangauthier

5 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Quelques définitions du mot « bayésien » –En Intelligence Artificielle –En robotique –En sciences (physiques), en statistiques –En sciences cognitives 5

6 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques), en statistiques Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de laction 6

7 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de laction 7

8 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Intelligence Artificielle Construire des systèmes qui –pensent / agissent –comme des humains / rationnellement IA vs. Psychologie –IA psychologie où on construit le sujet –Psychologie IA où on tente de deviner comment fonctionne un robot ou un programme construit par quelquun dautre 8

9 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Intelligence Artificielle Construire des systèmes qui –pensent / agissent –comme des humains / rationnellement IA vs. Psychologie –Distinctions similaires en psychologie Cognition symbolique / cognition située Implementation / algorithmique / computationel (hiérarchie de David Marr) 9

10 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 10 Intelligence Artificielle 50s-70s –IA Symbolique –Systèmes experts –Blocks World

11 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Prolog : programmation logique Exemple : système expert en généalogie Programme = –Base de faits –Base de règles Requêtes –Inférence logique : principe de Robinson 11 etre_mere(X)-> mere(X,Y); parent(X,Y)-> mere(X,Y); parent(X,Y)-> pere(X,Y); etre_fils(X) -> parent(Y,X); frere_ou_soeur(X,Y) -> pere(P,X) pere(P,Y); soeur_de(X,Y)-> frere_ou_soeur(X,Y) femme(X); grand_pere_de(X,Y)-> pere(X,Z) parent(Z,Y); cousin(X,Y)-> grand_pere_de(Z,X) grand_pere_de(Z,Y); tante(X,Y)-> parent(Z,Y) soeur_de(X,Z); ancetre(X,Y)-> parent(X,Y); /* cas de base, ancetre direct */ ancetre(X,Y)-> parent(Z,Y) ancetre(X,Z); /* ancetre indirect: X est un ancetre du pere de Y */ descendant(X,Y) -> ancetre(Y,X); louistherese gedeon aglae |__________| |_________________| | | | isabellepierre xavier claire |___________________| |________________| | | | | | gaelle axel catherine johan gwenael mere(aglae, xavier) ->; pere(gedeon, xavier) ->; mere(aglae, pierre) ->; pere(gedeon, pierre) ->; mere(therese, isabelle) ->; pere(louis, isabelle) ->;... ancetre(louis, johan);

12 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 12 Problème 1966 –Marvin Minsky (MIT) donne un projet dété de maîtrise à Gerald Sussman. –Sujet : « la vision par ordinateur » Le monde réel nest pas le « blocks world » –Modèle nécessairement incomplet –Ex : partie déchecs (Deep Blue) vs. partie de football

13 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 13 Intelligence Artificielle et monde réel 80s-00s : LIA symbolique devient la GOFAI –Good old fashioned AI Méthodes numériques –Réseaux de neurones artificiels –Algorithmes génétiques –Logique floue –Modélisation Bayésienne (probabiliste) Transforme lincomplétude du modèle en incertitude, manipulable mathématiquement Extension de la logique

14 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 14 Modèles de raisonnement humain Raisonnement déductif (logique) –modus ponens A implique B, A est vrai : B est vrai –modus tollens A implique B, B est faux : A est faux Raisonnement plausible –Sil pleut, alors Jean a son parapluie –Jean a son parapluie –Il pleut, vraisemblablement

15 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 15 Représentation et règles de calcul Desiderata –Représentation de degrés de plausibilité par des nombres réels –Correspondance qualitative avec le sens commun –Consistance Si une conclusion peut être atteinte par plusieurs chemins dinférence, le résultat doit être indépendant du chemin Toutes les évidences sont utilisées pour une inférence Des états de connaissances équivalents amènent à des plausibilités équivalentes Probabilités Règle du produit et règle de la somme th. de Cox

16 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 16 Soient A, B, C, des propositions logiques Règle du produit Règle de la somme (de normalisation) Règles de calcul

17 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Règles de calcul Règle du produit Théorème de Bayes Règle de la somme Règle de marginalisation 17 Reverend Thomas Bayes (~1702-1761)

18 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Probability Theory As Extended Logic Probabilités « subjectives » –Référence à un état de connaissance dun sujet P(« il pleut » | Jean), P(« il pleut » | Pierre) Pas de référence à la limite doccurrence dun événement (fréquence) Probabilités conditionnelles –P(A | π) et jamais P(A) –Statistiques bayésiennes Probabilités « fréquentistes » –Une probabilité est une propriété physique dun objet –Axiomatique de Kolmogorov, théorie des ensembles – –Statistiques classiques Population parente, etc. 18 E.T. Jaynes (1922-1998)

19 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Inférence probabiliste Théorème –Si on connaît la distribution conjointe P(X 1 X 2 … X n | π) –Alors on peut calculer nimporte quelle « question » P(X 1 | [X n = x n ] π) P(X 2 X 4 | [X 3 = x 3 ] π) 19

20 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 20 Preuve

21 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Exemple Raisonnement plausible –Sil pleut, alors Jean a son parapluie –Jean a son parapluie –Il pleut, vraisemblablement Peut-on capturer ce raisonnement en probabilités ? 21

22 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Exemple A = {il pleut, il ne pleut pas} B = {Jean a son parapluie, Jean na pas son parapluie} P(B A) = P(A) P(B | A) P(A) –P(A=il pleut) = 0,4 –P(A=il ne pleut pas) = 1 - 0,4 = 0,6 P(A | B) –Quizz : quel objet mathématique ? 22

23 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Exemple P(B A) = P(A) P(B | A) P(B | A) 23 P(B | A)A=il pleutA=il ne pleut pas B=Jean na pas son parapluie 0,050,9 B=Jean a son parapluie 0,950,1 11

24 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Exemple Probabilité quil pleuve ? –P(A = il pleut) = 0,4 Probabilité quil pleuve, sachant que Jean a son parapluie ? –P(A | B = Jean a son parapluie) = P(B | A) P(A) / P(B) = P(B | A) P(A) / (Σ A P(B A)) –P(A = il pleut | B = Jean a son parapluie) = 0,95*0,4 / (0,95*0,4 + 0,1*0,6) = 0,86 24

25 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 25 Êtes-vous « Bayésien » ? Im a bayesian if I use the word probability. Im a bayesian if I use the word conditional probability. Im a bayesian if I use Bayes rule. Im a bayesian if I use Bayes rule in order to make inference. Im a bayesian if I think that probabilities represent states of knowledge. Im a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. Im a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). Im a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier

26 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de laction 26

27 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 27 Logical Paradigm in robotics Incompleteness (Bessière, 03)

28 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 28 Bayesian Paradigm in robotics =P(M | SDC) P(MS | DC)

29 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 29 Probability as Logic Incompleteness Uncertainty Preliminary Knowledge + Experimental Data = Probabilistic Representation Maximum Entropy Principle Decision Bayesian Inference P(AB|C)=P(A|C)P(B|AC)=P(B|C)P(A|BC) P(A|C)+P(¬A|C) = 1

30 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 30 Programme Description P(X 1 … X n | C) Questions : P(X i … X j | X k … X l C) Spécification Identification Variables Décomposition Formes paramétriques Programmation Bayésienne des Robots (PBR) (Lebeltel, 99)

31 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Sensor Fusion Objective Find the position of a light source Difficulty –No sensor to directly measure the position of a light source. Solution –Model of each sensor –Fusion of the 8 models 31

32 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 32 Model of a Light Sensor –A priori specification Utilization Description Question Program Specification Identification –Variables Preliminary Knowledge sensor –Decomposition –Parametrical Forms ThetaL, DistL, Lmi Lmi

33 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 33 Model of a Light Sensor (2) Bayesian Inference: Inverse Problem Description: Question 1: Question 2:

34 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 34 Model of a Light Sensor (3) P( ThetaL | Lmi )P( DistL | Lmi ) Notion of ambiguity

35 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 35 Sensor Fusion Model –No free parameters Utilization Description Question Program Specification Identification –Variables –Decomposition (Conditional Independance Hypothesis) –Parametrical Forms ThetaL, DistL, Lm0, …, Lm7

36 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 36

37 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Classes de modèles probabilistes Réseaux bayésiens Réseaux bayésiens dynamiques Filtres bayésiens Modèles de Markov Cachés Filtres de Kalman Processus de décision markovien (partiellement observable) … 37 (Diard, 2003)

38 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de laction 38

39 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Notation probabiliste Soient –Θ = {θ 1, θ 2, …} paramètres des modèles –Δ = {δ 1, δ 2, …, δ n } données expérimentales –δ i = {x, y} une donnée x var indépendante contrôlée y var dépendante Un modèle –P(δ i ) = P(y | x) P(x) –P(δ i | θ 1 ) = P(y | x θ 1 ) P(x | θ 1 ) 39

40 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Notation probabiliste Soient –Θ = {θ 1, θ 2, …} paramètres des modèles –Δ = {δ 1, δ 2, …, δ n } données expérimentales –δ i = {x, y} une donnée Méta-modèle 40

41 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Sélection de modèle Quel est le modèle le plus probable, au vu des données ? –Question ubiquitaire en sciences ! –Trouver θ qui maximise 41

42 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 42 Si P( ) = uniforme – Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P( ) uniforme –Modèle = prior vraisemblance Modèle de maximum a posteriori (MAP) Méthode bayésienne Posterior Prior Vraisemblance

43 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 43 data set set of models set of parameters Sélection de modèle Machine learning Identification de paramètres Active learning Design optimization Distinguabilité des modèles

44 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 44 Êtes-vous « Bayésien » ? Im a bayesian if I use the word probability. Im a bayesian if I use the word conditional probability. Im a bayesian if I use Bayes rule. Im a bayesian if I use Bayes rule in order to make inference. Im a bayesian if I think that probabilities represent states of knowledge. Im a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. Im a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). Im a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. Im a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier

45 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » –En sciences cognitives Modélisation de la perception et de laction 45

46 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 46 Tel monsieur Jourdain… Un phénomène génère des y pour un x fixé par lexpérimentateur Un modèle –prédit y = F(x), F linéaire : F = ax + b –autorise du « bruit » dans les mesures On observe D = {d x1, …, d xn } Question –Quels sont les paramètres a, b les plus probables ?

47 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 47 Tel monsieur Jourdain…

48 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 48 Tel monsieur Jourdain…

49 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 49 Least square fitting sur Mathworld http://mathworld.wolfram.com

50 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 50 Pour aller plus loin… Inférence dans les cas non-linéaires Moindres carrés Bayésien Espace de modèles – = {3x+2, 4x 3 -2x 2 +4} Priors hiérarchiques –P( | ) Rasoir dOccam automatique…

51 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Modélisation bayésienne et mesures derreursModélisation bayésienne et mesures derreurs 51

52 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Plan Introduction à la modélisation bayésienne –En Intelligence Artificielle Historique –En robotique Exemple de Programme Bayésien –En sciences (physiques) Méthodologie de sélection de modèles Exemples de « bayésien caché » Bonus : importance des variables cachées 52

53 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Importance des variables cachées 53

54 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Modélisation dune série temporelle 54

55 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 P( y) 55

56 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Variable cachée V1 = {Bleu, Rouge} V1=RV1=B 56

57 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 P( y | [V1=R]) P( y | [V1=B]) 57

58 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 V2 = {Bleu, Rouge} [V1=R] [V1=B] P( y | [V1=R] [V2=R]) P( y | [V1=R] [V2=B]) P( y | [V1=B] [V2=R]) P( y | [V1=B] [V2=B]) 58

59 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Digression : entropie Déf : Exemple : [Shannon, 1948] 59

60 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Exemple 2 : P(X), X = {-1, 0, 1} 60

61 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Variables cachées, connaissance et entropie Théorème : Les variables cachées apportent de linformation P( y | [V1=B] [V2=B]) P( y) 61

62 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Prédiction de la prochaine valeur ? P( y) P( y | [V1=B] [V2=B]) 62

63 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Pour 2005-2010, [V1=B] et [V2=B] 63

64 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Merci de votre attention ! Questions ?

65 Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Timing Préambule 15 min –En Intelligence Artificielle 45 min Historique –En robotique 30 min Exemple de Programme Bayésien Pause 15 min –En sciences (physiques) Méthodologie de sélection de modèles 30 min Exemples de « bayésien caché »45 min Bonus : importance des variables cachées, mesures derreurs 15 min (ou intro cours 2) 65


Télécharger ppt "Julien Diard LPNC-CNRS Cours M2R Psychologie Cognitive UE18S3 2011 Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et."

Présentations similaires


Annonces Google