La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Inference Algorithms Revisited.

Présentations similaires


Présentation au sujet: "Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Inference Algorithms Revisited."— Transcription de la présentation:

1 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Inference Algorithms Revisited

2 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Inference

3 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » optimisation problems

4 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Symbolic Simplification

5 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Exact symbolic simplification (example)

6 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Question dependent 9x10 6

7 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Reordering

8 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Applying normalization

9 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Factorizing

10 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Result (1) =40

11 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Result (2) (21x10)+9+1=220

12 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Summary 1. Reorder 2. Normalize 3. Factorize

13 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Question independent

14 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (1)

15 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (2)

16 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (3)

17 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (4)

18 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (5)

19 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (6)

20 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Sharing parts (7)

21 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Message passing algorithms

22 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Example 2

23 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Question dependent

24 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Junction Tree Algorithm

25 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Cut-Set Algorithm

26 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Max-Product & Min-Sum Algorithms

27 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Viterbi Algorithm

28 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Approximate symbolic simplification: Variational methods

29 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Crunching numbers: Sampling methods 1. Monte Carlo (MC) 1. Importance sampling 2. Rejection sampling 2. Markof Chains Monte Carlo (MCMC) 1. Metropolis sampling 2. Gibbs sampling Information theory, Inference and learning algorithms (2003) D. MacKay

30 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Learning Revisited

31 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Data and Preliminary knowledge

32 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » How to Deal with Data? Using Preliminary Knowledge

33 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Direct problem: Inverse problem:

34 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bernoulli's Urn (1) Variables Draw Decomposition Parametrical Form Preliminary Knowledge : "We draw from an urn containing w white balls and b black balls"

35 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bernoulli's Urn (2) Variables: Decomposition: Parametrical Form: Note:

36 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bernoulli's Urn (3)

37 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Parameters Identification Variables: Decomposition:

38 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Model Selection Variables: Decomposition:

39 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Summary

40 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Entropy Principles Content: Entropy Principle Statement Frequencies and Laplace succession law Observables and Exponential laws Wolf's dice

41 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Entropy Principle Statement flip of a coins: 9553 heads Probability distribution of the coin?

42 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Observables and Exponential Laws Observable: Constraint levels: Maximum Entropy Distribution: Partition Function: Constraints differential equation: proof

43 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » Flips Observable: Constraint levels: Maximum Entropy Distribution: Partition Function: Constraints differential equation:

44 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »

45 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Frequencies and Laplace Succession Law Preliminary Knowledge: 1-Each of the digit is a number 2-The data come from the same phenomenon 3- A single variable V has been observed times 4-The order of these observations is not relevant 5-The variable V may take 6 different values

46 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Wolf's dice (1) H1 Hypothesis: excavations shifted the gravity center

47 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Wolf's dice (2) H2 Hypothesis: The dice is oblong along the 1-6 direction and the excavations shifted the gravity center

48 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Wolf's dice (3) Inverse Problem:

49 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Theoretical Basis Content: What is a good representation? Combinatorial justification Information theory justification Bayesian justification Axiomatic justification Entropy concentration theorems justifications Objective: Justify the use of the entropy function H

50 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 What is a Good Representation?

51 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Combinatorial Justification Statistical Mechanic q microscopic states Macroscopic state Probabilistic Inference q propositions Distribution

52 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Entropy Principles Preliminary Knowledge "Exchangeability" Preliminary Knowledge: has no meaningful order Each "experience" in is independent from the others knowing the model and its parameters Each "experience" in corresponds to a unique phenomenon

53 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Maximum Entropy for Frequencies Variables: Decomposition: Proof

54 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Minimum X-entropy with Observed Frequencies Variables: Decomposition:

55 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Shannons justification Shannon C. E. (1948) ; A Mathematical Theory of Communication ; Bell Systems Technical Journal ; 27 Reprinted as Shannon C.E. & Weaver (1949) The Mathematical Theory of Communication ; University of Illinois Press, Urbana

56 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Shores Axiomatic Justification Shore, J.E. & Johnson, R.W. (1980) ; Axiomatic derivation of the principle of maximum entropy and the principle of minimum cross-entropy ; IEEE Transactions on Information Theory ; IT

57 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Entropy Concentration Theorem Robert Claudine (1990) ; An Entropy Concentration Theorem: Applications in Artificial Intelligence and Descriptive Statistics ; Journal of Applied Probabilities Jaynes E.T. (1982) ; On the rationale of Maximum Entropy Methods ; Proceedings of the IEEE

58 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Want to know more ? Bayesian-Programming.org Probabilistic reasoning and decision making in sensory-motor systems Springer, Star Series

59 Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne »


Télécharger ppt "Pierre Bessière LPPA – Collège de France - CNRS Cours « Cognition bayésienne » 2010 Bayesian Inference Algorithms Revisited."

Présentations similaires


Annonces Google