La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme.

Présentations similaires


Présentation au sujet: "Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme."— Transcription de la présentation:

1 Chapitre 4 Perceptron multicouche

2 Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme Choix des paramètres Exemples

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 3 Découverte L.P.J. Veelenturf, Analysis and applications of Neural Networks, Prentice Hall, 1995. Couvre à fond le perceptron, le perceptron multicouche et SOM Traitement complet, mais plutôt math (théorèmes, axiomes) K. Swingler, Applying Neural Networks, Academic Press, 1996. 1 seul modèle: perceptron multicouche Guide pratique Plusieurs exemples

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 4 Laboratoire 2: Primitives dune image Extraction des primitives

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 5 1- Construction du réseau Réseau à rétro-propagation N I = 3x3 N h = 6 N o = 1 Entrée Couche cachée Sortie (arête)

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 6 Extraction des primitives Sous-image pour lapprentissage Construction dune base dapprentissage

7 2- Choix dune base dapprentissage 586 vecteurs 3x3 dapprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)

8 3- Apprentissage 4- Généralisation

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 9 4- Réseaux multicouches Algorithme de BP x1x1 x2x2 xnxn xNxN Couche dentrée Couche cachée 1 Couche cachée 2 Couche de sortie XS

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 10 Réseaux Madaline x2x2 x 1 Z2Z2 Z1Z1 Y X2X2 X1X1 1 1 1 b1b1 v1v1 w 11 w 21 w 12 w 22 v2v2 b3b3 b2b2 Plans de classification convexes

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 11 Réseaux mono et multicouches

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 12 Théorème de Kolmogorov (1963) « Un perceptron à 3 couches comprenant N(2N+1) neurones utilisant des fonctions non-linéaires continûment croissantes peut approximer toute fonction continue de N variables »

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 13 Dimensions pour répondre à un problème de reconnaissance de formes ? x1x1 x2x2 xnxn xNxN M N s1s1 smsm sMsM

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 14 Comment associer une sortie à chaque classe ? Classe « m » : X C m s m =1, et s m =0 si m m Quelle est la nature des sorties ? Neurone de McCulloch&Pitts sorties bipolaires +1 et -1 sorties binaires +1 et 0 Comment réaliser lapprentissage des poids synaptiques ? Algorithme du gradient fonctions «dérivables»

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 15 Problèmes avec lapproche de Rosenblatt - Lapprentissage avec un algorithme de descente de gradient et une fonction de Heaviside = un Dirac et des zéros presque partout Mais on doit tout de même utiliser une fonction non-linéaire pour lactivation sinon le perceptron multicouche se comporterait comme un perceptron linéaire !

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 16 « Légère » modification du modèle proposé par McCulloch & Pitts Fonction seuil la fonction sigmoïde

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 17 Nouveau paramètre à régler : la pente de la fonction sigmoïde Lalgorithme de la rétropropagation du gradient Base dapprentissage étiquetée B = {( X k, D k ), k=1, 2, …, K} X k =(x 1 (k),.., x n (k),.., x N (k)), k=1, 2,.., K une forme dentrée D k =(d 1 (k),.., d m (k),.., d M (k)) {0, 1} M vecteur de sortie désirée correspondant à X k

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 18 x 1 (k) XkXk v j,n w m,j y j (k) s m (k) s 1 (k) s M (k) Couche cachée comportant J neurones SkSk Vecteur de sortie obtenu Vecteur dentrée x 2 (k) x n (k) x N (k) Cas dune couche cachée

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 19 Algorithme de descente du gradient classique : Fonction du coût à minimiser : Coût(p) P (n) Coût(p) p P (n+1) P (n+1) = P (n) + Fonction du coût à minimiser : Coût(p 1, p 2,…., p L ) P l (n+1) = P l (n) +

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 20 Fonction du coût : Erreur quadratique instantanée pour les poids synaptiques w m,j W m,j Erreur liée à s m

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 21 Notion de gradient

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 22 pour les poids synaptiques v j,i v j,n ?

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 23 Le déroulement de l'algorithme de la rétropropagation du gradient La propagation directe 1. La forme X k est présentée à l'entrée du réseau 2. Calcul des h j (k), j= 1, 2,.., J, et y m (k), m= 1, 2,.., M 3. Calcul des m (k), m= 1, 2,.., M La rétropropagation 1. Rétropropagation et calcul de j, j=1,2, …,J 2. Actualisation des poids w m,j 3. Actualisation des poids v j,n

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 24 Réf. : Zurada (1992)

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 25 Réf. : Zurada (1992)

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 26 Interprétation du réseau multicouches Point de vue probabiliste : S m (X) f Cm/X : densité de probabilité a posteriori Théorème de Ruck

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 27 Point de vue extraction de primitives Extraction des primitives Discrimination linéaire.... * * * * * 0 0 0 0 0 0 0.... * * * * * 0 0 0 0 00.

28 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 28 MLP à une couche cachée X 1 X v j,n w m,j Z j Y m Y 1 Y M Couche cachée J neurones Y Vecteur de sortie M neurones Vecteur dentrée N neurones X 2 X n X N Z 1 Z J 1 1

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 29 La propagation directe Calcul des Z j Calcul des Y m

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 30 La rétropropagation Adaptation des poids synaptiques w jk j,k Erreur liée à Y k

31 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 31 Adaptation des poids synaptiques v ij v j,n ? Erreur liée à Z j La rétropropagation Comment calculer ?

32 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 32 Adaptation des poids synaptiques v ij La rétropropagation

33 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 33 ALGORITHME: RÉSUMÉ 1 debut initialisation des poids du MLP 2faire propagation directe: pour chaque vecteur de donnée 3 - Affecter X k = x n (n=1,..,N); envoyer les signaux aux neurones cachés 4 - Chaque neurone caché calcule son entrée 5 - Appliquer sa fonction dactivation pour calculer sa sortie 6 - Chaque neurone de sortie calcule son entrée 7 - Appliquer sa fonction dactivation pour calculer sa sortie 8 rétropropagation: chaque neurone de sortie reçoit son étiquette t m 9 - calculer les gradient 10 - calculer les incréments * 11 - rétropropager les gradients vers la couche cachée qui précède

34 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 34 12- chaque neurone cachée calcule son correspondant selon 13- chaque neurone caché calcule son gradient 14- calculer les incréments * 15- mise à jour des poids et biais * selon 16jusquà critère darrêt satisfait 10 retourner les poids du MLP 11 fin

35 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 35 Résumé: propagation directe

36 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 36 Résumé: rétro-propagation du gradient

37 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 37 Exercice

38 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 38 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1) (réf. Fausett, Prentice Hall, 1994) Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 1. Net de la couche cachée z_in 1 = 0.4 + (0.0) (0.7) + (1.0) (-0.2) = 0.2 z_in 2 = 0.6 + (0.0) (-0.4) + (1.0) (0.3) = 0.9 Propagation avant

39 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 39 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 2. Out de la couche cachée z 1 = 1 / (1+ exp (- z_in 1 )) = 0.550 z 2 = 1 / (1+ exp (- z_in 2 )) = 0.711 Propagation avant

40 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 40 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 3. Net de la couche de sortie y_in = -0.3 + (z 1 ) (0.5) + (z 2 ) (0.1) = 0.046 Propagation avant

41 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 41 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 1. Net de la couche cachée z_in 1 = 0.4 + (0.0) (0.7) + (1.0) (-0.2) = 0.2 z_in 2 = 0.6 + (0.0) (-0.4) + (1.0) (0.3) = 0.9 2. Out de la couche cachée z 1 = 1 / (1+ exp (- z_in 1 )) = 0.550 z 2 = 1 / (1+ exp (- z_in 2 )) = 0.711 3. Net de la couche de sortie y_in = -0.3 + (z 1 ) (0.5) + (z 2 ) (0.1) = 0.046 4. Out de la couche de sortie y = 1 / (1+ exp (- y_in)) = 0.511 Propagation avant

42 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 42 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 5. Erreur t - y = 1 – 0.511 = 0.489 6. = (t – y) (y) (1 - y) = 0.122 Rétro-propagation t a b

43 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 43 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. 8. j 1 j 1 k) (w 1 ) (z 1 ) (1 - z 1 ) = 0.015 9. j 2 Rétro-propagation j 2 k) (w 2 ) (z 2 ) (1 - z 2 ) = 0.0025 Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.7 -0.4 -0.2 0.3 0.6 0.4 k j 1 j 2 (0.5) (0.1) (-0.3) 0.5168 0.1217 -0.2695 Dans le cas général : Dérivée de f (z_in j )

44 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 44 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5168 0.7 -0.4 -0.2 0.3 0.1217 -0.2695 0.6 0.4 Rétro-propagation 7. w jk w 01 = ( ) ( k) = 0.0305 w 11 = ( ) ( k) (z 1 ) = 0.0168 w 21 = ( ) ( k ) (z 2 ) = 0.0217 k w jk

45 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 45 6.1 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.7 -0.4 -0.1962 0.3006 0.6006 0.438 10. v np Rétro-propagation 0.0168 0.0217 0.0305 j 1 j 2 (-0.3) v 01 = ( ) ( j 1 ) = 0.038 v 11 = ( ) ( j 1 ) (x 1 ) = 0.0 v 21 = ( ) ( j 1 ) (x 2 ) = 0.038 v 02 = ( ) ( j 2 ) = 0.0006 v 12 = ( ) ( j 2 ) (x 1 ) = 0.0 v 22 = ( ) ( j 2 ) (x 2 ) = 0.0006 v n1 v n2

46 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 46 Exercice à faire: 6.2 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (-1,1) et on utilise une sigmoïde bipolaire comme fonction dactivation Z2Z2 Z1Z1 Y X2X2 X1X1 11 1 0.5 0.7 -0.4 -0.2 0.3 0.1 -0.3 0.6 0.4 Seuls changent la dérivée de la fonction dactivation bipolaire et la mise à jour des poids entre lentrée et la couche cachée. Pour le détail voir 6.1


Télécharger ppt "Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme."

Présentations similaires


Annonces Google