CHAPTER 11: Perceptron Multicouches

Présentation au sujet: "CHAPTER 11: Perceptron Multicouches"— Transcription de la présentation:

1 CHAPTER 11: Perceptron Multicouches

2 Perceptron (Rosenblatt, 1962)

3 Que fait un Perceptron Régression: y=wx+w0 y y w0 w x x x0=+1

4 Perceptron Classification Entrée: un vecteur de valeurs réelles
x0 x1 w1 w0 x2 w2 wn xn Classification Entrée: un vecteur de valeurs réelles Sortie: combinaison linéaire de ses entrées. La sortie vaut: +1: si le résultat est plus grand qu’un seuil (w0); 0: si la sortie est fausse

5 Représentation formelle:
Perceptron Représentation formelle: Le perceptron permet de classifier les instances d’un ensemble s’ils sont linéairement séparables.

6 K Sorties Régression: Classification:

7 Perceptron: Entraînement Regression
Régression (sortie linéaire):

8 Apprentissage Apprentissage en ligne (instances vues une par une) vs batch (tout l’échantillon) : Stockage de tout l’échantillon n’est pas nécessaire Problem peut changer au cours du temps Usure et dégradation des composants dans le système Descente du gradient stochastique : Mise à jour après une seul exemple Règle de mise à jour générique (règle LMS):

9 Apprentissage de perceptron: Régression
Régression (Sortie linéaire):

10 Classification Sortie sigmoid unique K>2 sortie softmax

11 Exemple: Perceptron X0 = 1 W0 =-0.8 x1 W1 = 0.5 x2 W2 = 0.5 Déterminer la fonction du perceptron à partir des entrées de la table suivante: x1 x2 1

12 Learning Boolean AND

13 XOR Pas de w0, w1, w2 satisfont: (Minsky and Papert, 1969)

14 Perceptrons Multicouches
(Rumelhart et al., 1986)

15 x1 XOR x2 = (x1 AND ~x2) OR (~x1 AND x2)

16 Backpropagation

17 Régression Backward Forward x

18 Régression avec sorties multiples
yi vih zh whj xj

19

20 Sur-apprentissage Nombre de pondérations: H (d+1)+(H+1)K

21

22 Réduction de la dimensionalité

23