La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie.

Présentations similaires


Présentation au sujet: "Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie."— Transcription de la présentation:

1 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Cours 5 Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE Cognition bayésienne 18/01/2012

2 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan des cours 1.Introduction à la Programmation Bayésienne : incomplétude, incertitude 2.Programmation bayésienne : exemple détaillé, Classes de modèles probabilistes 3.Distributions usuelles, Programmation bayésienne des robots 4.Modélisation bayésienne de la perception et de laction 5.Comparaison bayésienne de modèles 6.Compléments : inférence, apprentissage, principe dentropie

3 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

4 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

5 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Inférence exacte –sommation, propagation des incertitudes Inférence approximée –décisions intermédiaires (tirage de points), propagation dune partie des incertitudes

6 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation de la perception Perception –Un problème inverse (Poggio, 1984) Modèle bayésien –Inversion + hypothèse dindépendance conditionnelle – stimulus sensations perception

7 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Humans integrate visual and haptic information in a statistically optimal fashion Mécanisme dintegration visuo- haptique par fusion de gaussiennes Utilisé par les humains

8 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Causal inference (Körding et al., 07; Sato et al., 07) Y a-t-il une source unique, ou deux sources distinctes ?

9 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

10 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Sources

11 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Devinette n° 1 Quel est le suivant ? –{1, 3, 5, 7, 9, 11, ?} –{1, 1, 2, 3, 5, 8, 13, ?} –{0, 4, 7, 6, 8, 2, 5, 8, 9, ?}

12 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Réponses –{1, 3, 5, 7, 9, 11, ?} 42 –{1, 1, 2, 3, 5, 8, 13, ?} 42 –{0, 4, 7, 6, 8, 2, 5, 8, 9, ?} 42

13 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Devinette n° 2 Combien de méthodes pour définir une relation mathématique ?

14 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Combien de méthodes pour définir une relation mathématique ? –Par fonction analytique f E F x | f(x) –Par extension Ensemble de points (pas pratique pour un ensemble infini)

15 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Quelle méthode pour la devinette ? Passage de points à une fonction Utilisation de la fonction pour prédire le point suivant Modélisation

16 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation : méthode Définir une classe de modèles M Définir une mesure de « qualité » Sélectionner le modèle dans M qui maximise la mesure modélisation data set set of models set of parameters

17 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation Méthode très générale ! –Machine learning Réseau de neurone Algorithmes génétiques Apprentissage bayésien –Curve fitting –Optimisation –Regression modélisation data set set of models set of parameters

18 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Précaution Toute lactivité scientifique nest pas que la modélisation –Modèle vs. Théorie –Modèle vs. Expérience

19 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesures de qualité de modèles Falsifiability (réfutabilité, pas falsifiabilité !) –Existe-t-il des observations incompatibles ? Explanatory adequacy –Make sense of the data but also of established findings Interpretability –Réifiabilité : les paramètres sont liés à dautres processus Faithfulness –La qualité du modèle vient de sa structure, pas de propriétés du calcul, ni de la simulation Goodness of fit Complexity (or simplicity) Generalizability (Karl Popper, La connaissance objective, 1985) (Léna Soler, Introduction à lépistémologie, 2000) (Myung, 2003)

20 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesures de qualité de fit Residual Pourcentage de la variance –Percent variance accounted for PVAF Root mean square deviation RMSD = root mean square error RMSE

21 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesures de qualité de fit Correlation coefficient R 2 –aka Pearsons sample correlation coefficient Simple correlation coefficient Cross-correlation coefficient Product-moment coefficient Formes multidimensionnelles –Matricielles –Multiple Correlation Coefficient R

22 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Correlation coefficient

23 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Correlation coefficient r = Explorer les données !

24 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Fit vs complexity Fit to regularity –Intéressant à modéliser Fit to experimental noise –Pas intéressant

25 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Théorème Par n points passe un unique polynôme de degré n-1 –n points (ou contraintes) –Polynôme degré n-1 a n paramètres f(x) = ax 2 + bx + c Par deux points passe une unique droite Par trois points passe une unique parabole

26 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Théorème Par n points passe un unique polynôme de degré n-1 Idem –développement limité de Taylor –Transformée de Fourier –Somme de noyaux Gaussiens avec assez de paramètres, on approxime tout

27 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Fit vs complexity overfitting underfitting « sweet spot »

28 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Complexité dun modèle = Nombre de paramètres + Forme fonctionnelle –M1 : y = sin(cos(ax)) a exp(-bx)/x b –M2 : y = ax b –M3 : y = ax + b a=12 b=1

29 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Fonctionnelle de Tikhonov Mesure à minimiser –R(M, Δ) = G M (Δ) + λ H(M) –G M (Δ) mesure de fit –H(M) mesure de complexité indépendante de Δ –λ : poids relatif Compromis à résoudre : complexity regularization (central en machine learning)

30 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne »

31 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Generalizability Fit sur les points observés Fit sur les points pas encore observés overfittingunderfitting« sweet spot »

32 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesure de generalisation –Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle M T –Mesure de divergence entre distribution de probabilité D –D(f,g) > D(f,f)=0 si f g

33 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesure de generalisation Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle M T M T est évidemment inconnu

34 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

35 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Cross-validation (CV) Estimer la généralisation du modèle sans connaître le vrai modèle –Partitionner les données Δ –Identification de paramètres sur la partie calibration –Estimation de la capacité de généralisation sur la partie validation

36 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méthodes de CV Split-sample, hold-out method Split-half cross-validation –Coupe en deux Δ = Δ 1, Δ 2 –Estime les paramètres sur Δ 1 –Calcule lerreur de prédiction sur Δ 2 e 1 –Intervertir Δ 1, Δ 2, recommencer e 2 Validation croisée –Erreur de prédiction finale : moyenne des erreurs de prédiction (e 1 + e 2 ) / 2

37 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méthodes de CV Leave-one-out cross-validation –Découper en n-1 données pour lidentification, et 1 donnée pour lerreur de prédiction –Répéter n fois –Erreur de prédiction moyenne sur les n étapes

38 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méthodes de CV K-fold cross-validation –K blocs de taille n/K –Données pour lidentification : K-1 blocs (taille n-n/K) –Données pour la prédiction : 1 bloc (taille n/K) –Idem leave-n/K-out –Choix de K change le résultat

39 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méthode de CV Bootstrapping –Tirage avec replacement subsamples au lieu de subsets des données –.632+ bootstrap method 63,2 % de Δ pour lidentification

40 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Critique de la CV Large training set overfitting Small training set underfitting Trouver le bon découpage –même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov Rien résolu (mais facile à coder)

41 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

42 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesures de distances entre distributions de probabilités Déf : Une métrique est une fonction g non-négative telle que –Inégalité triangulaire g(x,y)+g(y,z) g(x,z) –Symétrique g(x,y) = g(y,x) –g(x,x) = 0 –g(x,y) = 0 => x = y

43 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesures de distances entre distributions de probabilités Kullback-Leibler –Distance / divergence de Kullback-Leibler –KL divergence –Information gain –Relative entropy Cross entropy Mutual information

44 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » KL divergence Pas une mesure de distance –D(p,q) D(q,p) se symétrise D s (p,q)=D s (q,p)= (D(p,q)+D(q,p)) /2 –D(p,q) > 0 pour tout p,q –D(p,q) = 0 ssi p k = q k pour tout k

45 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Cross entropy Entropie H(p), cross-entropie H(p,q) Relation avec la KL divergence

46 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mutual information mesurée en bits I(X,Y) = I(Y,X) I(X,Y) 0

47 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

48 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Notation probabiliste Soient –Θ = {θ 1, θ 2, …} paramètres des modèles –Δ = {δ 1, δ 2, …, δ n } données expérimentales –δ i = {x, y} une donnée x condition : var indépendante contrôlée VI y observation pour cette condition : var dépendante VD Un modèle – 48

49 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » En modélisation probabiliste Plusieurs modèles –Espace de paramètres Θ = {θ 1, θ 2, …} –Classe des modèles M = {m 1, m 2, …} –Un modèle : P(y | x [Θ = θ 1 ] [M = m 1 ]) Méta-modèle, modèle hiérarchique –

50 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méta-modèle

51 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Méta-modèle Version simplifiée : une seule classe de modèle

52 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Mesure de comparaison des modèles Calculer la probabilité dun modèle m 1, au vu de données expérimentales Δ

53 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Si P( ) = uniforme – Modèle de maximum de vraisemblance Maximum Likelihood (MLE) Si P( ) uniforme –Modèle = prior vraisemblance Modèle de maximum a posteriori (MAP) Modèle bayésien Posterior Prior Vraisemblance

54 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Goodness of fit en probabilités Maximiser la vraisemblance

55 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

56 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Tel monsieur Jourdain… Un phénomène génère des couples d i = x,y Un modèle –prédit y = F(x), F linéaire, F = ax + b –autorise du « bruit » dans les mesures On observe D = {d x1, …, d xn } Question –Quels sont les paramètres a, b les plus probables ?

57 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Tel monsieur Jourdain…

58 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Tel monsieur Jourdain…

59 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Moindre carrés de lerreur Comme –un Réseau de Neurones & Backpropagation (Mitchell 95, p167) –Une régression linéaire –residual –…

60 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Least square fitting sur Mathworld

61 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Pour aller plus loin… Inférence dans les cas non-linéaires Moindres carrés Bayésien Espace de modèles – = {3x+2, 4x 3 -2x 2 +4} Priors hiérarchiques –P( | ) Rasoir dOccam automatique…

62 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

63 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Odds, posterior odds, evidence Un modèle à 2 cas : –Une hypothèse H, et

64 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Odds, posterior odds, evidence Odds, log odds (stats) Posterior odds Odds en bijection avec p

65 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Evidence (en decibels db) Evidence en bijection avec p Odds, posterior odds, evidence

66 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Odds, posterior odds, evidence

67 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

68 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Identification de paramètres vs Sélection de modèles Identification de paramètres learning – Sélection de modèle –

69 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Comparaison de modèles Basés sur la vraisemblance –AIC Akaike Information Criterion –BIC Bayesian Information Criterion –MDL Minimum Description Length –BMS Bayesian Model Selection

70 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » AIC avec k le nombre de paramètres Modèle M qui minimise la mesure AIC Fonctionnelle de Tikhonov –AIC = lack of fit + complexity Dérive de lapproximation pour de larges ensembles de données de la KL divergence

71 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » BIC avec –k le nombre de paramètres –n le nombre de données Dérive de lapproximation pour de larges ensembles de données de la Bayesian Model Selection

72 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » MDL avec –k le nombre de paramètres –n le nombre de données –I(θ) la matrice dinformation de Fisher Matrice des espérances des log des dérivées partielles de la vraisemblance selon les dimensions –|.| le déterminant de la matrice

73 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » MDL Mesure de complexité qui prend en compte la forme fonctionnelle Provient de la théorie de linformation –Compression des données Δ par modèle + déviation

74 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » BMS Vraisemblance – Vraisemblance marginale –

75 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Bayesian model selection Attention –BMS Bayesian model selection –BMS Bootstrap model selection

76 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

77 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » « vraie » Bayesian model selection Prior sur M uniforme ou pas Prior sur les paramètres θ uniformes ou pas

78 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Bayesian model selection Intégrale sur lespace des paramètres –MAP si on la fait –méthodes de Monte-Carlo (voire, méthode de Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer Gibbs sampling Metropolis-Hastings Random walk methods –Approximation du log vraisemblance autour de BMSL Bayesian Model Selection Laplace approximation

79 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Bayes Factor Extension du odds Ratio de vraisemblances marginales si prior uniforme sur M –P(M 1 ) = P(M 2 )

80 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Bayesian Model Selection –na pas la forme dune fonctionnelle de Tikhonov –et pourtant, mesure la complexité des M

81 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » BMS et mesure de complexité « Occam automatique » : intuition Si et P(Δ | θ) concentré autour de –Alors P(θ 2 | Δ) pénalisé par la normalisation sur Θ 2 (espace plus grand)

82 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Rasoir dOccam automatique MacKay, 03

83 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

84 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Question ouverte 1 Sélectionner un modèle, ok Boucle expérimentale –où prendre la prochaine donnée expérimentale ? –Notion dexpérience cruciale (discriminante) Distinguer les modèles Distinguabilité des modèles –Design optimization –Active learning (active perception) –Optimal experimental design –Bayesian model distinguishability modélisation data set set of models set of parameters ?

85 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Question ouverte 2 Deux problèmes inverses –Perception Phénomène = f -1 (stimuli) –Modélisation Modèle = f -1 (observations) Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ? Le cerveau est-il bayésien ?

86 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Question ouverte 3 Pourquoi 42 ?

87 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

88 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation du contrôle Mouvements de pointage, volontaire, chez lhumain Etude des régularités –Lois du mouvement Isochronie, loi de Fitts, loi de la puissance 2/3 Hypothèses sur les mécanismes –Modèles (neuro)cognitifs

89 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modèles de planification de mouvements Planification de mouvement = Sélection dune trajectoire selon un coût

90 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Quelle grandeur manipulée par le système de contrôle ? + free energy principle (Friston 10) + inactivation principle (Berret 08) + …

91 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Minimum variance Bruit dépendant du signal (signal dependent noise SDN)

92 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Bayesian Decision Theory Modèle probabiliste + modèle de coût (reward, cost, loss function) Prior Posterior Likelihood Cost function X X Bayes theorem Bayesian decision theory output observation i

93 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

94 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation bayésienne dune boucle sensorimotrice : application à lécritureModélisation bayésienne dune boucle sensorimotrice : application à lécriture

95 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Plan Résumé + questions ! Comparaison et sélection de modèles –Cadre général : fit, complexité, capacité de généralisation –Méthodes de validation croisée –Apparté : mesures de distance entre distribution de probabilités Sélection bayésienne de modèles –Sélection probabiliste vs. Bayésienne –Tel monsieur Jourdain… un exemple –Apparté : vocabulaire –Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS –Sélection bayésienne de modèles Questions ouvertes Modélisation de la perception et de laction –Exemple : boucle perception et action de la lecture et lécriture Modélisation : choix des variables

96 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Importance des variables cachées

97 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Modélisation dune série temporelle

98 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » P( y)

99 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Variable cachée V1 = {Bleu, Rouge} V1=RV1=B

100 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » P( y | [V1=R]) P( y | [V1=B])

101 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » V2 = {Bleu, Rouge} [V1=R] [V1=B] P( y | [V1=R] [V2=R]) P( y | [V1=R] [V2=B]) P( y | [V1=B] [V2=R]) P( y | [V1=B] [V2=B])

102 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Digression : entropie Déf : Exemple : [Shannon, 1948]

103 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Exemple 2 : P(X), X = {-1, 0, 1}

104 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Variables cachées, connaissance et entropie Théorème : Les variables cachées apportent de linformation P( y | [V1=B] [V2=B]) P( y)

105 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Prédiction de la prochaine valeur ? P( y) P( y | [V1=B] [V2=B])

106 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Pour 2007, [V1=B] et [V2=B]

107 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Merci de votre attention ! Questions ?

108 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Distinguabilité des modèles Modèle de distinguabilité –Extension du méta-modèle de fit –P(Δ Θ M) = P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)

109 Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » Distinguabilité des modèles


Télécharger ppt "Julien Diard LPNC-CNRS Cours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » 2012 1 Cours 5 Julien Diard Laboratoire de Psychologie."

Présentations similaires


Annonces Google