La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme.

Présentations similaires


Présentation au sujet: "Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme."— Transcription de la présentation:

1 Chapitre 4 Perceptron multicouche

2 Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme Choix des paramètres Exemples

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 3 Découverte L.P.J. Veelenturf, Analysis and applications of Neural Networks, Prentice Hall, Couvre à fond le perceptron, le perceptron multicouche et SOM Traitement complet, mais plutôt math (théorèmes, axiomes) K. Swingler, Applying Neural Networks, Academic Press, seul modèle: perceptron multicouche Guide pratique Plusieurs exemples

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 4 Laboratoire 2: Primitives dune image Extraction des primitives

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Construction du réseau Réseau à rétro-propagation N I = 3x3 N h = 6 N o = 1 Entrée Couche cachée Sortie (arête)

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #4 - 6 Extraction des primitives Sous-image pour lapprentissage Construction dune base dapprentissage

7 2- Choix dune base dapprentissage 586 vecteurs 3x3 dapprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)

8 3- Apprentissage 4- Généralisation

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux multicouches Algorithme de BP x1x1 x2x2 xnxn xNxN Couche dentrée Couche cachée 1 Couche cachée 2 Couche de sortie XS

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Madaline x2x2 x 1 Z2Z2 Z1Z1 Y X2X2 X1X b1b1 v1v1 w 11 w 21 w 12 w 22 v2v2 b3b3 b2b2 Plans de classification convexes

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux mono et multicouches

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Théorème de Kolmogorov (1963) « Un perceptron à 3 couches comprenant N(2N+1) neurones utilisant des fonctions non-linéaires continûment croissantes peut approximer toute fonction continue de N variables »

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Dimensions pour répondre à un problème de reconnaissance de formes ? x1x1 x2x2 xnxn xNxN M N s1s1 smsm sMsM

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Comment associer une sortie à chaque classe ? Classe « m » : X C m s m =1, et s m =0 si m m Quelle est la nature des sorties ? Neurone de McCulloch&Pitts sorties bipolaires +1 et -1 sorties binaires +1 et 0 Comment réaliser lapprentissage des poids synaptiques ? Algorithme du gradient fonctions «dérivables»

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Problèmes avec lapproche de Rosenblatt - Lapprentissage avec un algorithme de descente de gradient et une fonction de Heaviside = un Dirac et des zéros presque partout Mais on doit tout de même utiliser une fonction non-linéaire pour lactivation sinon le perceptron multicouche se comporterait comme un perceptron linéaire !

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # « Légère » modification du modèle proposé par McCulloch & Pitts Fonction seuil la fonction sigmoïde

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Nouveau paramètre à régler : la pente de la fonction sigmoïde Lalgorithme de la rétropropagation du gradient Base dapprentissage étiquetée B = {( X k, D k ), k=1, 2, …, K} X k =(x 1 (k),.., x n (k),.., x N (k)), k=1, 2,.., K une forme dentrée D k =(d 1 (k),.., d m (k),.., d M (k)) {0, 1} M vecteur de sortie désirée correspondant à X k

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # x 1 (k) XkXk v j,n w m,j y j (k) s m (k) s 1 (k) s M (k) Couche cachée comportant J neurones SkSk Vecteur de sortie obtenu Vecteur dentrée x 2 (k) x n (k) x N (k) Cas dune couche cachée

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Algorithme de descente du gradient classique : Fonction du coût à minimiser : Coût(p) P (n) Coût(p) p P (n+1) P (n+1) = P (n) + Fonction du coût à minimiser : Coût(p 1, p 2,…., p L ) P l (n+1) = P l (n) +

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Fonction du coût : Erreur quadratique instantanée pour les poids synaptiques w m,j W m,j Erreur liée à s m

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Notion de gradient

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # pour les poids synaptiques v j,i v j,n ?

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le déroulement de l'algorithme de la rétropropagation du gradient La propagation directe 1. La forme X k est présentée à l'entrée du réseau 2. Calcul des h j (k), j= 1, 2,.., J, et y m (k), m= 1, 2,.., M 3. Calcul des m (k), m= 1, 2,.., M La rétropropagation 1. Rétropropagation et calcul de j, j=1,2, …,J 2. Actualisation des poids w m,j 3. Actualisation des poids v j,n

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réf. : Zurada (1992)

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réf. : Zurada (1992)

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Interprétation du réseau multicouches Point de vue probabiliste : S m (X) f Cm/X : densité de probabilité a posteriori Théorème de Ruck

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Point de vue extraction de primitives Extraction des primitives Discrimination linéaire.... * * * * * * * * * *

28 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # MLP à une couche cachée X 1 X v j,n w m,j Z j Y m Y 1 Y M Couche cachée J neurones Y Vecteur de sortie M neurones Vecteur dentrée N neurones X 2 X n X N Z 1 Z J 1 1

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # La propagation directe Calcul des Z j Calcul des Y m

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # La rétropropagation Adaptation des poids synaptiques w jk j,k Erreur liée à Y k

31 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Adaptation des poids synaptiques v ij v j,n ? Erreur liée à Z j La rétropropagation Comment calculer ?

32 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Adaptation des poids synaptiques v ij La rétropropagation

33 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # ALGORITHME: RÉSUMÉ 1 debut initialisation des poids du MLP 2faire propagation directe: pour chaque vecteur de donnée 3 - Affecter X k = x n (n=1,..,N); envoyer les signaux aux neurones cachés 4 - Chaque neurone caché calcule son entrée 5 - Appliquer sa fonction dactivation pour calculer sa sortie 6 - Chaque neurone de sortie calcule son entrée 7 - Appliquer sa fonction dactivation pour calculer sa sortie 8 rétropropagation: chaque neurone de sortie reçoit son étiquette t m 9 - calculer les gradient 10 - calculer les incréments * 11 - rétropropager les gradients vers la couche cachée qui précède

34 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # chaque neurone cachée calcule son correspondant selon 13- chaque neurone caché calcule son gradient 14- calculer les incréments * 15- mise à jour des poids et biais * selon 16jusquà critère darrêt satisfait 10 retourner les poids du MLP 11 fin

35 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Résumé: propagation directe

36 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Résumé: rétro-propagation du gradient

37 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exercice

38 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1) (réf. Fausett, Prentice Hall, 1994) Z2Z2 Z1Z1 Y X2X2 X1X Net de la couche cachée z_in 1 = (0.0) (0.7) + (1.0) (-0.2) = 0.2 z_in 2 = (0.0) (-0.4) + (1.0) (0.3) = 0.9 Propagation avant

39 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X Out de la couche cachée z 1 = 1 / (1+ exp (- z_in 1 )) = z 2 = 1 / (1+ exp (- z_in 2 )) = Propagation avant

40 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X Net de la couche de sortie y_in = (z 1 ) (0.5) + (z 2 ) (0.1) = Propagation avant

41 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X Net de la couche cachée z_in 1 = (0.0) (0.7) + (1.0) (-0.2) = 0.2 z_in 2 = (0.0) (-0.4) + (1.0) (0.3) = Out de la couche cachée z 1 = 1 / (1+ exp (- z_in 1 )) = z 2 = 1 / (1+ exp (- z_in 2 )) = Net de la couche de sortie y_in = (z 1 ) (0.5) + (z 2 ) (0.1) = Out de la couche de sortie y = 1 / (1+ exp (- y_in)) = Propagation avant

42 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X Erreur t - y = 1 – = = (t – y) (y) (1 - y) = Rétro-propagation t a b

43 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0, j 1 j 1 k) (w 1 ) (z 1 ) (1 - z 1 ) = j 2 Rétro-propagation j 2 k) (w 2 ) (z 2 ) (1 - z 2 ) = Z2Z2 Z1Z1 Y X2X2 X1X k j 1 j 2 (0.5) (0.1) (-0.3) Dans le cas général : Dérivée de f (z_in j )

44 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X Rétro-propagation 7. w jk w 01 = ( ) ( k) = w 11 = ( ) ( k) (z 1 ) = w 21 = ( ) ( k ) (z 2 ) = k w jk

45 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (0,1). D=1 et =0,25. Z2Z2 Z1Z1 Y X2X2 X1X v np Rétro-propagation j 1 j 2 (-0.3) v 01 = ( ) ( j 1 ) = v 11 = ( ) ( j 1 ) (x 1 ) = 0.0 v 21 = ( ) ( j 1 ) (x 2 ) = v 02 = ( ) ( j 2 ) = v 12 = ( ) ( j 2 ) (x 1 ) = 0.0 v 22 = ( ) ( j 2 ) (x 2 ) = v n1 v n2

46 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exercice à faire: 6.2 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur dapprentissage (-1,1) et on utilise une sigmoïde bipolaire comme fonction dactivation Z2Z2 Z1Z1 Y X2X2 X1X Seuls changent la dérivée de la fonction dactivation bipolaire et la mise à jour des poids entre lentrée et la couche cachée. Pour le détail voir 6.1


Télécharger ppt "Chapitre 4 Perceptron multicouche. Plan 4- Perceptron multicouche Intro: labo 2 Erreur et gradient derreur Rétro-propagation du gradient derreur Algorithme."

Présentations similaires


Annonces Google