Perceptron multicouche

Présentation au sujet: "Perceptron multicouche"— Transcription de la présentation:

1 Perceptron multicouche
Exercices Perceptron multicouche

2 1. Dérivée de la sigmoïde Points de départ:
La dérivée d’une exponentielle est une exponentielle Dérivée d’un quotient

3 1.1 Sigmoïde unipolaire

4 1.2 Sigmoïde unipolaire à pente ajustable

5 1.3 Sigmoïde bipolaire

6 1.4 Sigmoïde bipolaire à pente ajustable

7 1.5 Fonction linéaire

8 2. Perceptron 2-2-1

9 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) (ref. Fausett, prob. 6.1) 1. Net de la couche cachée Propagation avant h_in1 = (0.0) (0.7) + (1.0) (-0.2) = 0.2 h_in2 = (0.0) (-0.4) + (1.0) (0.3) = 0.9 Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

10 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Propagation avant Y 2. Out de la couche cachée -0.3 h1 = 1 / (1+ exp (- h_in1)) = 0.550 1 0.5 0.1 h2 = 1 / (1+ exp (- h_in2)) = 0.711 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

11 3. Net de la couche de sortie
3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Propagation avant Y -0.3 1 0.5 0.1 h1 h2 3. Net de la couche de sortie 0.4 0.6 0.7 0.3 y_in = (h1) (0.5) + (h2) (0.1) = 0.046 -0.2 1 -0.4 1 X1 X2

12 3. Net de la couche de sortie
3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) 1. Net de la couche cachée Propagation avant h_in1 = (0.0) (0.7) + (1.0) (-0.2) = 0.2 h_in2 = (0.0) (-0.4) + (1.0) (0.3) = 0.9 Y -0.3 2. Out de la couche cachée 1 0.5 0.1 h1 = 1 / (1+ exp (- h_in1)) = 0.550 h1 h2 h2 = 1 / (1+ exp (- h_in2)) = 0.711 0.4 0.6 3. Net de la couche de sortie 0.7 0.3 y_in = (h1) (0.5) + (h2) (0.1) = 0.046 -0.2 1 -0.4 1 X1 X2 4. Out de la couche de sortie y = 1 / (1+ exp (- y_in)) = 0.511

13 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation d d k 5. Erreur D b a Y d - y = 1 – = 0.489 -0.3 6. dk 1 0.5 0.1 dk = (d – y) (y) (1 - y) = 0.122 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

14 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation dk Y Dans le cas général : (-0.3) 0.5168 d j1 d j2 1 0.1217 (0.5) (0.1) h1 h2 Dérivée de f (h_inj) 0.4 0.6 0.7 0.3 -0.4 -0.2 8. d j1 1 1 d j1 = (d k) (w1) (h1) (1 - h1) = 0.015 X1 X2 9. d j2 d j2 = (d k) (w2) (h2) (1 - h2) =

15 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation dk Y D wjk 7. D wkj 0.5168 1 0.1217 D w10 = () (dk) = h1 h2 D w11 = () (dk) (h1) = 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 D w12 = () (dk) (h2) = X1 X2

16 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation Y d j1 d j2 0.0305 (-0.3) 0.0168 1 0.0217 D vn1 D vn2 10. D vjn h1 h2 D v10 = () (d j1) = 0.038 D v11 = () (d j1) (x1) = 0.0 0.438 0.6006 D v12 = () (d j1) (x2) = 0.038 0.7 0.3006 1 -0.4 1 D v20 = () (d j2) = D v21 = () (d j2) (x1) = 0.0 X1 X2 D v22 = () (d j2) (x2) =

17 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) et on utilise une sigmoïde bipolaire comme fonction d’activation (ref. Fausett, prob. 6.2) Seuls changent la dérivée de la fonction d’activation bipolaire et la mise à jour des poids entre l’entrée et la couche cachée. Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 X1 X2

18 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) 1. Net de la couche cachée Propagation avant h_in1 = (-1.0) (0.7) + (1.0) (-0.2) = -0.5 h_in2 = (-1.0) (-0.4) + (1.0) (0.3) = 1.3 Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

19 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Propagation avant Y 2. Out de la couche cachée -0.3 h1 = / (1+ exp (- h_in1)) = 1 0.5 0.1 h2 = / (1+ exp (- h_in2)) = 0.572 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

20 3. Net de la couche de sortie
4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Propagation avant Y -0.3 1 0.5 0.1 h1 h2 3. Net de la couche de sortie 0.4 0.6 0.7 0.3 y_in = (h1) (0.5) + (h2) (0.1) = -0.2 1 -0.4 1 X1 X2

21 3. Net de la couche de sortie
4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) 1. Net de la couche cachée Propagation avant h_in1 = (-1.0) (0.7) + (1.0) (-0.2) = -0.5 h_in2 = (-1.0) (-0.4) + (1.0) (0.3) = 1.3 Y -0.3 2. Out de la couche cachée 1 0.5 0.1 h1 = / (1+ exp (- h_in1)) = h1 h2 h2 = / (1+ exp (- h_in2)) = 0.572 0.4 0.6 3. Net de la couche de sortie 0.7 0.3 y_in = (h1) (0.5) + (h2) (0.1) = -0.2 1 -0.4 1 X1 X2 4. Out de la couche de sortie y = / (1+ exp (- y_in)) =

22 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation d d k 5. Erreur D b a Y d - y = 1 – (-0.181) = 1.181 -0.3 6. dk 1 0.5 0.1 dk = (d – y) (0.5) (1 + y) (1 - y) = 0.571 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

23 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation dk Y Dans le cas général : (-0.3) 0.5168 d j1 d j2 1 0.1217 (0.5) (0.1) h1 h2 Dérivée de f (h_inj) 0.4 0.6 0.7 0.3 -0.4 -0.2 8. d j1 1 1 d j1 = (d k) (w1) (0.5) (1 + h1) (1 - h1) = 0.134 X1 X2 9. d j2 d j2 = (d k) (w2) (0.5) (1 + h2) (1 - h2) = 0.019

24 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation dk Y D wjk 7. D wkj 0.5168 1 0.1217 D w10 = () (dk) = 0.143 h1 h2 D w11 = () (dk) (h1) = 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 D w12 = () (dk) (h2) = 0.082 X1 X2

25 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation Y d j1 d j2 0.0305 (-0.3) 0.0168 1 0.0217 D vn1 D vn2 10. D vjn h1 h2 D v10 = () (d j1) = D v11 = () (d j1) (x1) = 0.438 0.6006 D v12 = () (d j1) (x2) = 0.7 0.3006 1 -0.4 1 D v20 = () (d j2) = D v21 = () (d j2) (x1) = X1 X2 D v22 = () (d j2) (x2) =