La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 The most incomprehensible thing about the world is that it is comprehensible.

Présentations similaires


Présentation au sujet: "Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 The most incomprehensible thing about the world is that it is comprehensible."— Transcription de la présentation:

1 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 The most incomprehensible thing about the world is that it is comprehensible Albert Einstein

2 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Cognition Julien Diard CNRS - Laboratoire de Psychologie et NeuroCognition Pierre Bessière CNRS - Laboratoire de Physiologie de la Perception et de lAction Probabilistic models of action, perception, inference, decision and learning

3 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 To get more info Bayesian-Programming.org ftp://ftp-serv.inrialpes.fr/pub/emotion/bayesian-programming/Cours grenoble.fr 3

4 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Plan / planning Bessière c1 15/11 –Incomplétude, incertitude, Programme Bayésien, inférence Bayésienne Diard c2 29/11, c3 13/12, c4 03/01 –Modèles Bayésiens en robotique et sciences cognitives Diard c5 10/01 –Sélection de modèles, machine learning, distinguabilité de modèles Bessière c6 17/01 –Compléments : algorithmes dinférence, maximum dentropie 4

5 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Perception test Daniel J. Simons & Christopher Chabris Harvard University 5

6 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »

7 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »

8 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »

9 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »

10 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Probability Theory as an alternative to Logic The actual science of logic is conversant at present only with things either certain, impossible, or entirely doubtful, none of which (fortunately) we have to reason on. Therefore the true logic for this world is the calculus of Probabilities, which takes account of the magnitude of the probability which is, or ought to be, in a reasonable man's mind. James Clerk Maxwell

11 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Incompleteness and Uncertainty A very small cause which escapes our notice determines a considerable effect that we cannot fail to see, and then we say that the effect is due to chance. H. Poincaré

12 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Shape from Image 12

13 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Shape from Motion Colas, F., Droulez, J., Wexler, M. & Bessiere, P. (2008) Unified probabilistic model of perception of three- dimensional structure from optic flow; in Biological Cybernetics,in press Colas, F. (2006) Perception des objets en mouvement : Composition bayésienne du flux optique et du mouvement de lobservateur, Thèse INPG 13

14 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Illusions: McGurkeffect Cathiard, M.-A., Schwartz, J.-L. & Abry, C. (2001). Asking a naive question to the McGurk effect : why does audio [b] give more [d] percepts with usual [g] than with visual [d] ? In Proceedings of the /Auditory Visual Speech processing, AVSP'2001/, Aalborg, Copenhague, Courtesy of Masso Arnt, Associate Professor, University of Oslo 14

15 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Credit card fraud detection 15

16 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Beam-in-the-Bin experiment (Set-up) 16

17 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Beam-in-the-Bin experiment (Results) 17

18 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Beam-in-the-Bin experiment (Results) 18

19 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Beam-in-the-Bin experiment (Results) 19

20 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Logical Paradigm Incompleteness 20

21 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Paradigm =P(M | SDC) P(MS | DC) 21

22 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Principle Incompleteness Uncertainty Preliminary Knowledge + Experimental Data = Probabilistic Representation Decision Bayesian Inference Bayesian Learning 22

23 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Thesis Probabilistic inference and learning theory, considered as a model of reasoning, is a new paradigm (an alternative to logic) to explain and understand perception, inference, decision, learning and action. La théorie des probabilités n'est rien d'autre que le sens commun fait calcul. Marquis Pierre-Simon de Laplace The actual science of logic is conversant at present only with things either certain, impossible, or entirely doubtful, none of which (fortunately) we have to reason on. Therefore the true logic for this world is the calculus of Probabilities, which takes account of the magnitude of the probability which is, or ought to be, in a reasonable man's mind. James Clerk Maxwell By inference we mean simply: deductive reasoning whenever enough information is at hand to permit it; inductive or probabilistic reasoning when - as is almost invariably the case in real problems - all the necessary information is not available. Thus the topic of « Probability as Logic » is the optimal processing of uncertain and incomplete knowledge. E.T. Jaynes Subjectivist vs Objectivist epistemology of probabilities ? 23

24 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 A water treatment unit (1) 24

25 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 A water treatment unit (2) 25

26 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 A water treatment unit (3) 26

27 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 A water treatment unit (4) 27

28 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 A water treatment unit (5) 28

29 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Uncertainty on O due to inaccuracy on S 29

30 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Uncertainty due to the hidden variable H 30

31 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Not taking into account the effect of hidden variables may lead to wrong decision (1) 31

32 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Not taking into account the effect of hidden variables may lead to wrong decision (2) 32

33 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Principle Incompleteness Uncertainty Preliminary Knowledge + Experimental Data = Probabilistic Representation Decision Bayesian Inference Bayesian Learning 33

34 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Basic Concepts Far better an approximate answer to the right question which is often vague, than an exact answer to the wrong question which can always be made precise. John W. Tuckey

35 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Spam Detection Classify texts in 2 categories spam or nonspam –Only available information: a set of words Adapt to the user and learn from experience 35

36 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Variable 36

37 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Probability 37

38 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Normalization postulate 38

39 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Conditional probability 39

40 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Variable conjunction 40

41 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Conjunction postulate 41

42 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Syllogisms Logical Syllogisms: –Modus Ponens: –Modus Tollens: Probabilistic Syllogisms: –Modus Ponens: –Modus Tollens: 42

43 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Marginalization rule 43

44 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Joint distribution and questions (1) 44

45 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Joint distribution and questions (2) 45

46 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Joint distribution and questions (3) 46

47 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Decomposition 47

48 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Network 48

49 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Parametric Forms (1) 49

50 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Parametric Forms (2) 50

51 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Identification 51

52 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Specification = Variables + Decomposition + Parametric Forms Variables: the choice of relevant variables for the problem Decomposition: the expression of the joint probability distribution as the product of simpler distribution Parametric Forms: the choice of the mathematical functions of each of these distributions 52

53 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Description = Specification + Identification 53

54 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Questions (1) 54

55 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Questions (2) 55

56 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Questions (3) 56

57 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Question (4) 57

58 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Program = Description + Question Utilization Description Question Program Specification Identification Variables Parametrical Forms or Recursive Question Decomposition Preliminary Knowledge Experimental Data 58

59 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Program = Description + Question 59

60 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Results SpamSieve 60

61 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Theoretical Basis Content: Definitions and notations Inference rules Bayesian program Model specification Model identification Model utilization 61

62 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Logical Proposition Logical Proposition are denoted by lowercase name: Usual logical operators: 62

63 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Probability of Logical Proposition We assume that to assign a probability to a given proposition a, it is necessary to have at least some preliminary knowledge, summed up by a proposition Of course, we will be interested in reasoning on the probabilities of the conjunctions, disjunctions and negations of propositions, denoted, respectively, by: We will also be interested in the probability of proposition a conditioned by both the preliminary knowledge and some other proposition b: 63

64 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Normalization and Conjunction Postulates Bayes rule Cox Theorem Resolution Principle Why don't you take the disjunction rule as an axiom? 64

65 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Discrete Variable Variable are denoted by name starting with one uppercase letter: By definition a discrete variable is a set of propositions –Mutually exclusive: –Exhaustive: at least one is true The cardinal of X is denoted: 65

66 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Variable Conjunction Not a variable 66

67 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Conjunction rule 67

68 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Normalization rule Proof 68

69 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Marginalization rule Proof 69

70 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Contraction/Expansion rule 70

71 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Rules 71

72 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Description The purpose of a description is to specify an effective method to compute a joint distribution on a set of variables: Given some preliminary knowledge and a set of experimental data. This joint distribution is denoted as: 72

73 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Decomposition Partion in K subsets: Conjunction rule: Conditional independance: Decomposition: 73

74 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Parametrical Forms or Recursive Questions Parametrical form: Recursive Question: 74

75 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Question Given a description, a question is obtained by partitionning the set of variables into 3 subsets: the searched variables, the known variables and the free variables. We define the Search, Known and Free as the conjunctions of the variables belonging to these three sets. We define the corresponding question as the distribution: 75

76 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Inference 76

77 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » optimisation problems 77

78 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 API and Inference Engine main () { //Variables plFloat read_time; plIntegerType id_type(0,1); plFloat times[5] = {1,2,3,5,10}; plSparseType time_type(5,times); plSymbol id("id",id_type); plSymbol time("time",time_type); //Parametrical forms //Construction of P(id) plProbValue id_dist[2] = {0.75,0.25}; plProbTable P_id(id,id_dist); //Construction of P(time | id = john) plProbValue t_john_dist[5] = {20,30,10,5,2}; plProbTable P_t_john(time,t_john_dist); //Construction of P(time | id = bill) plProbValue t_bill_dist[5] = {2,6,10,40,20}; plProbTable P_t_bill(time,t_bill_dist); //Construction de P(time | id) plKernelTable Pt_id(time,id); plValues t_and_id(time^id); t_and_id[id] = 0; Pt_id.push(P_t_john,t_and_id); t_and_id[id] = 1; Pt_id.push(P_t_bill,t_and_id); //Decomposition // P(time id) = P(id) P(time | id) plJointDistribution jd(time^id,P_id*Pt_id); Bayesian Program Description Question Specification Identification Variables Decomposition Parametric Forms Learning from instances //Question //Getting the question P(id | time) plCndKernel Pid_t; jd.ask(Pid_t,id,time); //Read a time from the key board cout<<"P(id,time)= "<>read_time; //Getting P(id | time = read_time) plKernel Pid_readTime; ProBT® ProBAYES.com Bayesian-Programming.org 78


Télécharger ppt "Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 The most incomprehensible thing about the world is that it is comprehensible."

Présentations similaires


Annonces Google