La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 5-6 Mai 1999 -Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils.

Présentations similaires


Présentation au sujet: "1 5-6 Mai 1999 -Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils."— Transcription de la présentation:

1 1 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils à lapprentissage Stéphane Canu, INSA de Rouen, PSI André Elisseeff, ERIC, université de Lyon

2 2 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE RNA de type PMC y = W f ( W f (W X) )

3 3 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Motivations RNA de type PMC : si ça marche, il doit y avoir un argument mathématique ! –Une machine qui apprend (pour « comprendre » ou « résoudre ») argument biologique ou mathématique Poser (formaliser) le problème « dapprentissage à partir dexemples » –universalité –contrôle de la complexité local vs global dimensionnalité hyper paramètre : structure vs « adaptation »

4 4 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Le problème dapprentissage Des variables explicatives : X, et des variables à expliquer : Y (observées) (à prédire) des variables aléatoires : (X,Y) une loi jointe (inconnue) une fonction coût une fonction cible r(x)= E(Y|X=x) un échantillon (x i,y i ) i=1,n Construire, un estimateur de la fonction r

5 5 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Le problème dapprentissage Des variables explicatives : X, et des variables à expliquer : Y (observées) (à prédire) des variables aléatoires : (X,Y) une loi jointe (inconnue) une fonction coût une fonction cible r(x)= E(Y|X=x) un échantillon (x i,y i ) i=1,n Construire, un estimateur de la fonction r R (une dimension)

6 6 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Apprentissage à partir d'exemples Données : (x i,y i ) i=1,n Principe inductif : Minimisation risque empirique Ce nest pas suffisant...

7 7 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE B trop grand : tout apprendre = apprendre nimporte quoi Solution instable Pourquoi le principe du MRE nest pas suffisant ?

8 8 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE B trop grand : tout apprendre = apprendre nimporte quoi Solution instable minimiser C emp ce nest pas forcément minimiser EP C emp = 0 Pourquoi le principe du MRE nest pas suffisant ?

9 9 5-6 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE B trop grand : tout apprendre = apprendre nimporte quoi Solution instable minimiser C emp ce nest pas forcément minimiser EP C emp = 0 Pourquoi le principe du MRE nest pas suffisant ?

10 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE M.R.E.: comment stabiliser ? deux principes. Ce problème est mal posé –EP est instable – B est trop grand Il faut introduire un a priori –compactifier = régulariser (Tikhonov 63, Groetsch 93) Stabilisateur (pénalisation), Arrêt de la minimisation, Perturber les entrées,... –Minimiser dans un sous ensemble F de B

11 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque empirique f..f..ff..f..f Mesure de Qualité

12 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque empirique f..f..ff..f..f. pas bon Mesure de Qualité

13 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque empirique f..f..ff..f..f. pas bon.. bon. moyen Mesure de Qualité

14 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Mesure de Qualité : F R f (f) + F f | (f) existe Ajustement aux Données Min |y i - f(x i )| (f) i n f F

15 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Mesure de Qualité : F R f (f) + F f | (f) existe Ajustement aux Données Qualité a priori Min |y i - f(x i )| (f) i n f F

16 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Mesure de Qualité : F R f (f) + F f | (f) existe Ajustement aux Données Qualité a priori Min |y i - f(x i )| (f) i n f F Roberval

17 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Exemple da priori (f) mesure la qualité de f Interprétation Bayésienne

18 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Exemple da priori (f) mesure la qualité de f Interprétation Bayésienne Fourier

19 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Choix de la priori P(x) petit P(x) grand peu dinformationbeaucoup dinformation f doit être « régulière » f peut être « irrégulière » X : mesure P(x): densité (dx)= P(x)dx

20 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Choix de la priori P(x) petit P(x) grand peu dinformationbeaucoup dinformation f doit être « régulière » f peut être « irrégulière » X : mesure P(x): densité (dx)= P(x)dx Qualité

21 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Choix de la priori dérivée de Radon-Nikodym Un exemple

22 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE exemple

23 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Solution : r(x) = Arg r(x) = r (x) + r (x) « locale » (r ) = 0 les a priori des perceptrons multicouches tanh(x) : globale (tanh) = 0 Choix de (f) a priori min |y i -f(x i )| (f) i n 1212 f F k ^ k ^^^ l ^ 2

24 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque régularisé dérivée directionnelle

25 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE de Q à G Q*QQ*Q Q*QQ*Q |Qf Ker(Q)

26 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE de Q à G A PRIORI Solution Q*QQ*Q Q*QQ*Q |Qf Ker(Q)

27 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE estimation des c

28 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Estimation des c et des d G + I K K 0 cdcd y0y0 = 1 n n+k n

29 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Exemple

30 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Une Solution Mixte r(x) = r (x) + r (x) R.B.F + P.M.C Un cadre théorique possible k ^^^ l

31 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Perspectives cadre théorique pour les réseaux de neurones mesures signées multidimensionnel, intégration des données (x et y) dans le choix de nouveaux algorithmes d apprentissage (SVM, …), moins derreur : des bornes ! intégrer une mesure de complexité,

32 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Régression spline et a priori f = Qf Q*Q G = f(x) = c i G(x i,x) + d j Ker j (x) moindres carrés : (G + I) c = y Noyau équivalent : f(x) = y i K(x i,x) Matrice de lissage : f(x i ) = S y

33 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Les autres fonctions couts Cout quadratique Cout absolu Cout relatif absolu Relatif quadratique Quantiles Fixé par lutilisateur,... r(x) = E( Y | X=x ) nom contraste fonction cible

34 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du Risque Empirique (M.R.E.) Ce problème est mal posé car B est trop grand ! –existence dune solution –unicité –stabilité de lerreur en prédiction EP si (x i,y i ) change un peu, EP varie peu

35 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque structurel Minimisation risque empirique Régulariser : choisir F tel que M.R.E. soit stable Choix de F : Minimisation du risque Structurel

36 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Minimisation du risque structurel 1 - Choix de F - F est fonction de léchantillon et du problème, - pratiquement, { F m } : contrôle de la complexité. 2 - Estimation de lerreur de prédiction - borne théorique, - par rééchantillonnage, - ensemble test. 3 - Régulariser : introduire un a priori (Groetsch 93) - stabilisateur (pénalisation, Weigend 91 ), - perturber les entrées (régulariser lopérateur, Plaut 86 ), - arrêt de la minimisation ( Amari 95 ). 1 2 { 3

37 Mai Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Moindres carrés


Télécharger ppt "1 5-6 Mai 1999 -Séminaire : THEORIE DE L'APPRENTISSAGE ET MODELISATION COGNITIVE Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils."

Présentations similaires


Annonces Google