Perceptron multicouche Exercices Perceptron multicouche

1. Dérivée de la sigmoïde Points de départ: La dérivée d’une exponentielle est une exponentielle Dérivée d’un quotient

1.1 Sigmoïde unipolaire

1.2 Sigmoïde unipolaire à pente ajustable

1.3 Sigmoïde bipolaire

1.4 Sigmoïde bipolaire à pente ajustable

1.5 Fonction linéaire

2. Perceptron 2-2-1

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) (ref. Fausett, prob. 6.1) 1. Net de la couche cachée Propagation avant h_in1 = 0.4 + (0.0) (0.7) + (1.0) (-0.2) = 0.2 h_in2 = 0.6 + (0.0) (-0.4) + (1.0) (0.3) = 0.9 Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Propagation avant Y 2. Out de la couche cachée -0.3 h1 = 1 / (1+ exp (- h_in1)) = 0.550 1 0.5 0.1 h2 = 1 / (1+ exp (- h_in2)) = 0.711 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

3. Net de la couche de sortie 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Propagation avant Y -0.3 1 0.5 0.1 h1 h2 3. Net de la couche de sortie 0.4 0.6 0.7 0.3 y_in = -0.3 + (h1) (0.5) + (h2) (0.1) = 0.046 -0.2 1 -0.4 1 X1 X2

3. Net de la couche de sortie 3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) 1. Net de la couche cachée Propagation avant h_in1 = 0.4 + (0.0) (0.7) + (1.0) (-0.2) = 0.2 h_in2 = 0.6 + (0.0) (-0.4) + (1.0) (0.3) = 0.9 Y -0.3 2. Out de la couche cachée 1 0.5 0.1 h1 = 1 / (1+ exp (- h_in1)) = 0.550 h1 h2 h2 = 1 / (1+ exp (- h_in2)) = 0.711 0.4 0.6 3. Net de la couche de sortie 0.7 0.3 y_in = -0.3 + (h1) (0.5) + (h2) (0.1) = 0.046 -0.2 1 -0.4 1 X1 X2 4. Out de la couche de sortie y = 1 / (1+ exp (- y_in)) = 0.511

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation d d k 5. Erreur D b a Y d - y = 1 – 0.511 = 0.489 -0.3 6. dk 1 0.5 0.1 dk = (d – y) (y) (1 - y) = 0.122 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation dk Y -0.2695 Dans le cas général : (-0.3) 0.5168 d j1 d j2 1 0.1217 (0.5) (0.1) h1 h2 Dérivée de f (h_inj) 0.4 0.6 0.7 0.3 -0.4 -0.2 8. d j1 1 1 d j1 = (d k) (w1) (h1) (1 - h1) = 0.015 X1 X2 9. d j2 d j2 = (d k) (w2) (h2) (1 - h2) = 0.0025

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation dk Y D wjk -0.2695 7. D wkj 0.5168 1 0.1217 D w10 = () (dk) = 0.0305 h1 h2 D w11 = () (dk) (h1) = 0.0168 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 D w12 = () (dk) (h2) = 0.0217 X1 X2

3 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (0,1) Rétro-propagation Y d j1 d j2 0.0305 (-0.3) 0.0168 1 0.0217 D vn1 D vn2 10. D vjn h1 h2 D v10 = () (d j1) = 0.038 D v11 = () (d j1) (x1) = 0.0 0.438 0.6006 D v12 = () (d j1) (x2) = 0.038 0.7 0.3006 1 -0.4 -0.1962 1 D v20 = () (d j2) = 0.0006 D v21 = () (d j2) (x1) = 0.0 X1 X2 D v22 = () (d j2) (x2) = 0.0006

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) et on utilise une sigmoïde bipolaire comme fonction d’activation (ref. Fausett, prob. 6.2) Seuls changent la dérivée de la fonction d’activation bipolaire et la mise à jour des poids entre l’entrée et la couche cachée. Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 X1 X2

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) 1. Net de la couche cachée Propagation avant h_in1 = 0.4 + (-1.0) (0.7) + (1.0) (-0.2) = -0.5 h_in2 = 0.6 + (-1.0) (-0.4) + (1.0) (0.3) = 1.3 Y -0.3 1 0.5 0.1 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Propagation avant Y 2. Out de la couche cachée -0.3 h1 = -1 + 2 / (1+ exp (- h_in1)) = -0.245 1 0.5 0.1 h2 = -1 + 2 / (1+ exp (- h_in2)) = 0.572 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

3. Net de la couche de sortie 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Propagation avant Y -0.3 1 0.5 0.1 h1 h2 3. Net de la couche de sortie 0.4 0.6 0.7 0.3 y_in = -0.3 + (h1) (0.5) + (h2) (0.1) = -0.365 -0.2 1 -0.4 1 X1 X2

3. Net de la couche de sortie 4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) 1. Net de la couche cachée Propagation avant h_in1 = 0.4 + (-1.0) (0.7) + (1.0) (-0.2) = -0.5 h_in2 = 0.6 + (-1.0) (-0.4) + (1.0) (0.3) = 1.3 Y -0.3 2. Out de la couche cachée 1 0.5 0.1 h1 = -1 + 2 / (1+ exp (- h_in1)) = -0.245 h1 h2 h2 = -1 + 2 / (1+ exp (- h_in2)) = 0.572 0.4 0.6 3. Net de la couche de sortie 0.7 0.3 y_in = -0.3 + (h1) (0.5) + (h2) (0.1) = -0.365 -0.2 1 -0.4 1 X1 X2 4. Out de la couche de sortie y = -1 + 2 / (1+ exp (- y_in)) = -0.181

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation d d k 5. Erreur D b a Y d - y = 1 – (-0.181) = 1.181 -0.3 6. dk 1 0.5 0.1 dk = (d – y) (0.5) (1 + y) (1 - y) = 0.571 h1 h2 0.4 0.6 0.7 0.3 -0.2 1 -0.4 1 X1 X2

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation dk Y -0.2695 Dans le cas général : (-0.3) 0.5168 d j1 d j2 1 0.1217 (0.5) (0.1) h1 h2 Dérivée de f (h_inj) 0.4 0.6 0.7 0.3 -0.4 -0.2 8. d j1 1 1 d j1 = (d k) (w1) (0.5) (1 + h1) (1 - h1) = 0.134 X1 X2 9. d j2 d j2 = (d k) (w2) (0.5) (1 + h2) (1 - h2) = 0.019

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation dk Y D wjk -0.2695 7. D wkj 0.5168 1 0.1217 D w10 = () (dk) = 0.143 h1 h2 D w11 = () (dk) (h1) = -0.035 0.4 0.6 0.7 0.3 -0.4 -0.2 1 1 D w12 = () (dk) (h2) = 0.082 X1 X2

4 : Trouver les nouveaux poids du réseau de la figure ci-dessous si on présente le vecteur d’apprentissage (-1,1) Rétro-propagation Y d j1 d j2 0.0305 (-0.3) 0.0168 1 0.0217 D vn1 D vn2 10. D vjn h1 h2 D v10 = () (d j1) = 0.0335 D v11 = () (d j1) (x1) = -0.0335 0.438 0.6006 D v12 = () (d j1) (x2) = 0.0335 0.7 0.3006 1 -0.4 -0.1962 1 D v20 = () (d j2) = 0.0048 D v21 = () (d j2) (x1) = -0.0048 X1 X2 D v22 = () (d j2) (x2) = 0.0048