La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie.

Présentations similaires


Présentation au sujet: "Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie."— Transcription de la présentation:

1 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 18/01/2012 http://diard.wordpress.comhttp://diard.wordpress.comJulien.Diard@upmf-grenoble.fr

2 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 2 Plan des cours 1.Introduction à la Programmation Bayésienne : incomplétude, incertitude 2.Programmation bayésienne : exemple détaillé, Classes de modèles probabilistes 3.Distributions usuelles, Programmation bayésienne des robots 4.Modélisation bayésienne de la perception et de laction 5.Comparaison bayésienne de modèles 6.Compléments : inférence, apprentissage, principe dentropie

3 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 3 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

4 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 4 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

5 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 5 Inférence exacte –sommation, propagation des incertitudes Inférence approximée –décisions intermédiaires (tirage de points), propagation dune partie des incertitudes

6 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 6 Modélisation de la perception Perception –Un problème inverse (Poggio, 1984) Modèle bayésien –Inversion + hypothèse dindépendance conditionnelle – stimulus sensations perception

7 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 7 Humans integrate visual and haptic information in a statistically optimal fashion Mécanisme dintegration visuo- haptique par fusion de gaussiennes Utilisé par les humains

8 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 8 Causal inference (Körding et al., 07; Sato et al., 07) Y a-t-il une source unique, ou deux sources distinctes ?

9 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 9 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

10 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 10 Sources

11 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 11 Devinette n° 1 Quel est le suivant ? –{1, 3, 5, 7, 9, 11, ?} –{1, 1, 2, 3, 5, 8, 13, ?} –{0, 4, 7, 6, 8, 2, 5, 8, 9, ?}

12 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 12 Réponses –{1, 3, 5, 7, 9, 11, ?} 42 –{1, 1, 2, 3, 5, 8, 13, ?} 42 –{0, 4, 7, 6, 8, 2, 5, 8, 9, ?} 42

13 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 13 Devinette n° 2 Combien de méthodes pour définir une relation mathématique ?

14 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 14 Combien de méthodes pour définir une relation mathématique ? –Par fonction analytique f E F x | f(x) –Par extension Ensemble de points (pas pratique pour un ensemble infini)

15 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 15 Quelle méthode pour la devinette ? Passage de points à une fonction Utilisation de la fonction pour prédire le point suivant Modélisation

16 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 16 Modélisation : méthode Définir une classe de modèles M Définir une mesure de « qualité » Sélectionner le modèle dans M qui maximise la mesure modélisation data set set of models set of parameters

17 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 17 Modélisation Méthode très générale ! –Machine learning Réseau de neurone Algorithmes génétiques Apprentissage bayésien –Curve fitting –Optimisation –Regression modélisation data set set of models set of parameters

18 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 18 Précaution Toute lactivité scientifique nest pas que la modélisation –Modèle vs. Théorie –Modèle vs. Expérience

19 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 19 Mesures de qualité de modèles Falsifiability (réfutabilité, pas falsifiabilité !) –Existe-t-il des observations incompatibles ? Explanatory adequacy –Make sense of the data but also of established findings Interpretability –Réifiabilité : les paramètres sont liés à dautres processus Faithfulness –La qualité du modèle vient de sa structure, pas de propriétés du calcul, ni de la simulation Goodness of fit Complexity (or simplicity) Generalizability (Karl Popper, La connaissance objective, 1985) (Léna Soler, Introduction à lépistémologie, 2000) (Myung, 2003)

20 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 20 Mesures de qualité de fit Residual Pourcentage de la variance –Percent variance accounted for PVAF Root mean square deviation RMSD = root mean square error RMSE

21 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 21 Mesures de qualité de fit Correlation coefficient R 2 –aka Pearsons sample correlation coefficient Simple correlation coefficient Cross-correlation coefficient Product-moment coefficient Formes multidimensionnelles –Matricielles –Multiple Correlation Coefficient R

22 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 22 Correlation coefficient

23 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 23 Correlation coefficient r = 0.816 Explorer les données !

24 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 24 Fit vs complexity Fit to regularity –Intéressant à modéliser Fit to experimental noise –Pas intéressant

25 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 25 Théorème Par n points passe un unique polynôme de degré n-1 –n points (ou contraintes) –Polynôme degré n-1 a n paramètres f(x) = ax 2 + bx + c Par deux points passe une unique droite Par trois points passe une unique parabole

26 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 26 Théorème Par n points passe un unique polynôme de degré n-1 Idem –développement limité de Taylor –Transformée de Fourier –Somme de noyaux Gaussiens avec assez de paramètres, on approxime tout

27 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 27 Fit vs complexity overfitting underfitting « sweet spot »

28 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 28 Complexité dun modèle = Nombre de paramètres + Forme fonctionnelle –M1 : y = sin(cos(ax)) a exp(-bx)/x b –M2 : y = ax b –M3 : y = ax + b a=12 b=1

29 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 29 Fonctionnelle de Tikhonov Mesure à minimiser –R(M, Δ) = G M (Δ) + λ H(M) –G M (Δ) mesure de fit –H(M) mesure de complexité indépendante de Δ –λ : poids relatif Compromis à résoudre : complexity regularization (central en machine learning)

30 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 30

31 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 31 Generalizability Fit sur les points observés Fit sur les points pas encore observés overfittingunderfitting« sweet spot »

32 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 32 Mesure de generalisation –Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle M T –Mesure de divergence entre distribution de probabilité D –D(f,g) > D(f,f)=0 si f g

33 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 33 Mesure de generalisation Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle M T M T est évidemment inconnu

34 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 34 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

35 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 35 Cross-validation (CV) Estimer la généralisation du modèle sans connaître le vrai modèle –Partitionner les données Δ –Identification de paramètres sur la partie calibration –Estimation de la capacité de généralisation sur la partie validation

36 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 36 Méthodes de CV Split-sample, hold-out method Split-half cross-validation –Coupe en deux Δ = Δ 1, Δ 2 –Estime les paramètres sur Δ 1 –Calcule lerreur de prédiction sur Δ 2 e 1 –Intervertir Δ 1, Δ 2, recommencer e 2 Validation croisée –Erreur de prédiction finale : moyenne des erreurs de prédiction (e 1 + e 2 ) / 2

37 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 37 Méthodes de CV Leave-one-out cross-validation –Découper en n-1 données pour lidentification, et 1 donnée pour lerreur de prédiction –Répéter n fois –Erreur de prédiction moyenne sur les n étapes

38 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 38 Méthodes de CV K-fold cross-validation –K blocs de taille n/K –Données pour lidentification : K-1 blocs (taille n-n/K) –Données pour la prédiction : 1 bloc (taille n/K) –Idem leave-n/K-out –Choix de K change le résultat

39 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 39 Méthode de CV Bootstrapping –Tirage avec replacement subsamples au lieu de subsets des données –.632+ bootstrap method 63,2 % de Δ pour lidentification

40 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 40 Critique de la CV Large training set overfitting Small training set underfitting Trouver le bon découpage –même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov Rien résolu (mais facile à coder)

41 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 41 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

42 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 42 Mesures de distances entre distributions de probabilités Déf : Une métrique est une fonction g non-négative telle que –Inégalité triangulaire g(x,y)+g(y,z) g(x,z) –Symétrique g(x,y) = g(y,x) –g(x,x) = 0 –g(x,y) = 0 => x = y

43 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 43 Mesures de distances entre distributions de probabilités Kullback-Leibler –Distance / divergence de Kullback-Leibler –KL divergence –Information gain –Relative entropy Cross entropy Mutual information

44 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 44 KL divergence Pas une mesure de distance –D(p,q) D(q,p) se symétrise D s (p,q)=D s (q,p)= (D(p,q)+D(q,p)) /2 –D(p,q) > 0 pour tout p,q –D(p,q) = 0 ssi p k = q k pour tout k

45 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 45 Cross entropy Entropie H(p), cross-entropie H(p,q) Relation avec la KL divergence

46 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 46 Mutual information mesurée en bits I(X,Y) = I(Y,X) I(X,Y) 0

47 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 47 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

48 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 48 Notation probabiliste Soient –Θ = {θ 1, θ 2, …} paramètres des modèles –Δ = {δ 1, δ 2, …, δ n } données expérimentales –δ i = {x, y} une donnée x condition : var indépendante contrôlée VI y observation pour cette condition : var dépendante VD Un modèle – 48

49 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 49 En modélisation probabiliste Plusieurs modèles –Espace de paramètres Θ = {θ 1, θ 2, …} –Classe des modèles M = {m 1, m 2, …} –Un modèle : P(y | x [Θ = θ 1 ] [M = m 1 ]) Méta-modèle, modèle hiérarchique –

50 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 50 Méta-modèle

51 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 51 Méta-modèle Version simplifiée : une seule classe de modèle

52 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 52 Mesure de comparaison des modèles Calculer la probabilité dun modèle m 1, au vu de données expérimentales Δ

53 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 53 Si P( ) = uniforme – Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P( ) uniforme –Modèle = prior vraisemblance Modèle de maximum a posteriori (MAP) Modèle bayésien Posterior Prior Vraisemblance

54 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 54 Goodness of fit en probabilités Maximiser la vraisemblance

55 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 55 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

56 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 56 Tel monsieur Jourdain… Un phénomène génère des couples d i = x,y Un modèle –prédit y = F(x), F linéaire, F = ax + b –autorise du « bruit » dans les mesures On observe D = {d x1, …, d xn } Question –Quels sont les paramètres a, b les plus probables ?

57 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 57 Tel monsieur Jourdain…

58 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 58 Tel monsieur Jourdain…

59 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 59 Moindre carrés de lerreur Comme –un Réseau de Neurones & Backpropagation (Mitchell 95, p167) –Une régression linéaire –residual –…

60 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 60 Least square fitting sur Mathworld http://mathworld.wolfram.com

61 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 61 Pour aller plus loin… Inférence dans les cas non-linéaires Moindres carrés Bayésien Espace de modèles – = {3x+2, 4x 3 -2x 2 +4} Priors hiérarchiques –P( | ) Rasoir dOccam automatique…

62 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 62 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

63 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 63 Odds, posterior odds, evidence Un modèle à 2 cas : –Une hypothèse H, et

64 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 64 Odds, posterior odds, evidence Odds, log odds (stats) Posterior odds Odds en bijection avec p

65 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 65 Evidence (en decibels db) Evidence en bijection avec p Odds, posterior odds, evidence

66 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 66 Odds, posterior odds, evidence

67 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 67 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

68 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 68 Identification de paramètres vs Sélection de modèles Identification de paramètres learning – Sélection de modèle –

69 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 69 Comparaison de modèles Basés sur la vraisemblance –AIC Akaike Information Criterion –BIC Bayesian Information Criterion –MDL Minimum Description Length –BMS Bayesian Model Selection

70 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 70 AIC avec k le nombre de paramètres Modèle M qui minimise la mesure AIC Fonctionnelle de Tikhonov –AIC = lack of fit + complexity Dérive de lapproximation pour de larges ensembles de données de la KL divergence

71 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 71 BIC avec –k le nombre de paramètres –n le nombre de données Dérive de lapproximation pour de larges ensembles de données de la Bayesian Model Selection

72 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 72 MDL avec –k le nombre de paramètres –n le nombre de données –I(θ) la matrice dinformation de Fisher Matrice des espérances des log des dérivées partielles de la vraisemblance selon les dimensions –|.| le déterminant de la matrice

73 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 73 MDL Mesure de complexité qui prend en compte la forme fonctionnelle Provient de la théorie de linformation –Compression des données Δ par modèle + déviation

74 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 74 BMS Vraisemblance – Vraisemblance marginale –

75 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 75 Bayesian model selection Attention –BMS Bayesian model selection –BMS Bootstrap model selection

76 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 76 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

77 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 77 « vraie » Bayesian model selection Prior sur M uniforme ou pas Prior sur les paramètres θ uniformes ou pas

78 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 78 Bayesian model selection Intégrale sur lespace des paramètres –MAP si on la fait –méthodes de Monte-Carlo (voire, méthode de Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer Gibbs sampling Metropolis-Hastings Random walk methods –Approximation du log vraisemblance autour de BMSL Bayesian Model Selection Laplace approximation

79 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 79 Bayes Factor Extension du odds Ratio de vraisemblances marginales si prior uniforme sur M –P(M 1 ) = P(M 2 )

80 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 80 Bayesian Model Selection –na pas la forme dune fonctionnelle de Tikhonov –et pourtant, mesure la complexité des M

81 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 81 BMS et mesure de complexité « Occam automatique » : intuition Si et P(Δ | θ) concentré autour de –Alors P(θ 2 | Δ) pénalisé par la normalisation sur Θ 2 (espace plus grand)

82 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 82 Rasoir dOccam automatique MacKay, 03

83 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 83 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

84 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 84 Question ouverte 1 Sélectionner un modèle, ok Boucle expérimentale –où prendre la prochaine donnée expérimentale ? –Notion dexpérience cruciale (discriminante) Distinguer les modèles Distinguabilité des modèles –Design optimization –Active learning (active perception) –Optimal experimental design –Bayesian model distinguishability modélisation data set set of models set of parameters ?

85 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 85 Question ouverte 2 Deux problèmes inverses –Perception Phénomène = f -1 (stimuli) –Modélisation Modèle = f -1 (observations) Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ? Le cerveau est-il bayésien ?

86 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 86 Question ouverte 3 Pourquoi 42 ?

87 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 87 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

88 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 88 Modélisation du contrôle Mouvements de pointage, volontaire, chez lhumain Etude des régularités –Lois du mouvement Isochronie, loi de Fitts, loi de la puissance 2/3 Hypothèses sur les mécanismes –Modèles (neuro)cognitifs

89 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 89 Modèles de planification de mouvements Planification de mouvement = Sélection dune trajectoire selon un coût

90 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 90 Quelle grandeur manipulée par le système de contrôle ? + free energy principle (Friston 10) + inactivation principle (Berret 08) + …

91 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 91 Minimum variance Bruit dépendant du signal (signal dependent noise SDN)

92 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 92 Bayesian Decision Theory Modèle probabiliste + modèle de coût (reward, cost, loss function) Prior Posterior Likelihood Cost function X X Bayes theorem Bayesian decision theory output observation i

93 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 93 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

94 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 94 Modélisation bayésienne dune boucle sensorimotrice : application à lécritureModélisation bayésienne dune boucle sensorimotrice : application à lécriture

95 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 95 Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

96 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 96 Importance des variables cachées

97 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 97 Modélisation dune série temporelle

98 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 98 P( y)

99 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 99 Variable cachée V1 = {Bleu, Rouge} V1=RV1=B

100 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 100 P( y | [V1=R]) P( y | [V1=B])

101 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 101 V2 = {Bleu, Rouge} [V1=R] [V1=B] P( y | [V1=R] [V2=R]) P( y | [V1=R] [V2=B]) P( y | [V1=B] [V2=R]) P( y | [V1=B] [V2=B])

102 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 102 Digression : entropie Déf : Exemple : [Shannon, 1948]

103 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 103 Exemple 2 : P(X), X = {-1, 0, 1}

104 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 104 Variables cachées, connaissance et entropie Théorème : Les variables cachées apportent de linformation P( y | [V1=B] [V2=B]) P( y)

105 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 105 Prédiction de la prochaine valeur ? P( y) P( y | [V1=B] [V2=B])

106 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 106 Pour 2007, [V1=B] et [V2=B]

107 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 107 Merci de votre attention ! Questions ?

108 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 108 Distinguabilité des modèles Modèle de distinguabilité –Extension du méta-modèle de fit –P(Δ Θ M) = P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)

109 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 109 Distinguabilité des modèles


Télécharger ppt "Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie."

Présentations similaires


Annonces Google