CHAPTER 11: Perceptron Multicouches
Perceptron (Rosenblatt, 1962)
Que fait un Perceptron Régression: y=wx+w0 y y w0 w x x x0=+1
Perceptron Classification Entrée: un vecteur de valeurs réelles x0 x1 w1 w0 x2 w2 wn xn Classification Entrée: un vecteur de valeurs réelles Sortie: combinaison linéaire de ses entrées. La sortie vaut: +1: si le résultat est plus grand qu’un seuil (w0); 0: si la sortie est fausse
Représentation formelle: Perceptron Représentation formelle: Le perceptron permet de classifier les instances d’un ensemble s’ils sont linéairement séparables.
K Sorties Régression: Classification:
Perceptron: Entraînement Regression Régression (sortie linéaire):
Apprentissage Apprentissage en ligne (instances vues une par une) vs batch (tout l’échantillon) : Stockage de tout l’échantillon n’est pas nécessaire Problem peut changer au cours du temps Usure et dégradation des composants dans le système Descente du gradient stochastique : Mise à jour après une seul exemple Règle de mise à jour générique (règle LMS):
Apprentissage de perceptron: Régression Régression (Sortie linéaire):
Classification Sortie sigmoid unique K>2 sortie softmax
Exemple: Perceptron X0 = 1 W0 =-0.8 x1 W1 = 0.5 x2 W2 = 0.5 Déterminer la fonction du perceptron à partir des entrées de la table suivante: x1 x2 1
Learning Boolean AND
XOR Pas de w0, w1, w2 satisfont: (Minsky and Papert, 1969)
Perceptrons Multicouches (Rumelhart et al., 1986)
x1 XOR x2 = (x1 AND ~x2) OR (~x1 AND x2)
Backpropagation
Régression Backward Forward x
Régression avec sorties multiples yi vih zh whj xj
Sur-apprentissage Nombre de pondérations: H (d+1)+(H+1)K
Réduction de la dimensionalité