La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur.

Présentations similaires


Présentation au sujet: "Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur."— Transcription de la présentation:

1 Réseaux de neurones

2 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur

3 3 Perceptron Considéré comme 1er réseau de neurones Basé sur la biologie humaine Créé Par Rosenblatt Entre 1957 et 1961 But : associer des configurations dentrée à des réponses

4 4 Perceptron Constitution 1/0 {0/1} Couche dentrée / Rétine Couche de sortie Connexions/Synapses

5 5 Perceptron Constitution 1/0 {0/1} Couche dentrée / Rétine Couche de sortie Connexions/Synapses

6 6 Perceptron Constitution 1/0 {0/1} a j = i x i w ij x0x0 x1x1 x2x2 x3x3 w 0j w 1j w 2j w 3j o j =f(a j )

7 7 Perceptron Constitution a j = i x i w ij x0x0 x1x1 x2x2 x3x3 w 0j w 1j w 2j w 3j o j =f(a j ) a j : activation de la j ème cellule de sortie x i : valeur de sortie de la i ème cellule de la rétine w i,j : intensité connexion entre i ème cellule dentrée et j ème cellule de sortie o j : régle de décision o j = 0 pour a j θ j

8 8 Perceptron Apprentissage Supervisé On donne lentrée et la sortie attendue Si sortie dune cellule est bonne => on ne fait rien Sinon, si elle est activée : on diminue la valeur de ses connexions si elle est désactivée : on augmente la valeur de ses connexions Jusquau moment où les réponses sont toutes correctes

9 9 Perceptron Apprentissage Comment diminuer ou augmenter les connexions ? Règle dapprentissage de Widrow-Hoff w i,j (t+1) = w i,j (t) +n(t j -o j )x i = w i,j (t) +w i,j Réponse théorique de la j ème cellule de sortie Facteur dapprentissage

10 10 Perceptron Problèmes Difficile de trouver de bons paramètres Impossible de modéliser le XOR Pourquoi ? XOR est non linéairement séparable Conséquence Le perceptron est alors mal vu et est abandonné 1,0 0,1 0,0 1,1

11 11 Mémoires associatives Vers 1970 Deux types Mémoires hétéro-associatives Mémoires auto-associatives

12 12 Mémoires hétéro-associatives Généralisation du perceptron Lactivation de sortie est continue et non plus 0 ou 1 Même constitution mais o j =γa j = γ( i x i w ij )

13 13 Mémoires auto-associatives Constitution Input Réseau de neurones

14 14 Mémoires auto-associatives Deux types Linéaires Recherche de réponse par combinaison linéaire des stimulis stockés Non linéaires Réseaux de Hopfield Réponses binaires : fonction sign dans {-1, 1} Mise à jour asynchrone

15 15 Mémoires auto-associatives But Retrouver une information à partir dune partie de celle-ci Exemple Retrouver un visage connu à partir dun nez et deux yeux

16 16 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur

17 17 Réseaux à couches cachées x INPUT I neurones h HIDDEN L neurones o OUTPUT J neurones Matrices de connexions WZ Constitution

18 18 Réseaux à couches cachées a j = i x i w ij x0x0 x1x1 x2x2 x3x3 w 0j w 1j w 2j w 3j o j =f(a j ) Z j0 Z j1 Z j2 Constitution

19 19 Rétro-propagation de lerreur Technique dapprentissage Idée : On teste une entrée On récupère la réponse On la compare à la réponse théorique On propage lerreur entre les deux réponses, de la sortie vers lentrée du réseau

20 20 Rétro-propagation de lerreur Choix de f (fonction de transfert): La plus populaire : la fonction logistique Sa dérivée

21 21 Rétro-propagation de lerreur Algorithme 1. On place une entrée

22 22 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h h=f(W*x)

23 23 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h o=f(Z*h) 3. Calcul des réponses pour o h=f(W*x)

24 24 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie sortie =f(Zh)*(t - o) o=f(Z*h)

25 25 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur Z (t+1) =Z (t) +n sortie h = Z (t) + (t) Z sortie =f(Zh)*(t - o)

26 26 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cachée cachée =f(Wx)*(Z sortie ) Z (t+1) =Z (t) +n sortie h = Z (t) + (t) Z

27 27 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cachée 7. On ajuste W avec le signal derreur W (t+1) =W (t) +n cachée x = W (t) + (t) W cachée =f(Wx)*(Z sortie )

28 28 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cachée 7. On ajuste W avec le signal derreur W (t+1) =W (t) +n cachée x = W (t) + (t) W

29 29 Rétro-propagation de lerreur Algorithme 1. On place une entrée 2. Calcul des réponses pour h 3. Calcul des réponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cachée 7. On ajuste W avec le signal derreur

30 30 Domaine des réseaux de neurones Aide pour lhomme Classification dobjets Apprentissage supervisé Recherche dune fonction complexe


Télécharger ppt "Réseaux de neurones. 2 Sommaire Perceptron Mémoires associatives Réseau à couches cachées Rétro-propagation de lerreur."

Présentations similaires


Annonces Google