La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Les Réseaux Neuronaux Cours du module « Extraction des connaissances à partir de bases de données et de textes » DESS janvier 2003.

Présentations similaires


Présentation au sujet: "Les Réseaux Neuronaux Cours du module « Extraction des connaissances à partir de bases de données et de textes » DESS janvier 2003."— Transcription de la présentation:

1 Les Réseaux Neuronaux Cours du module « Extraction des connaissances à partir de bases de données et de textes » DESS janvier 2003

2 Cours DESS - 10 janvier Généralités (1/3) n Approche connexioniste : modéliser le fonctionnement du cerveau humain. n Cerveau est vu comme un organe caractérisé par linterconnexion dun nombre élevé de neurones Le cerveau humain comporte environ 100 milliards de neurones, chacun relié en moyenne à autres. n Chaque connexion entre 2 neurones est caractérisée par son poids qui mesure le degré dinfluence du premier neurone vers le second.

3 Cours DESS - 10 janvier Généralités (2/3)

4 Cours DESS - 10 janvier Généralités (3/3) n On peux comparer les réseaux de neurones à des filtres remplis de café : on y met de l'eau, il en sort du café. On verse des données descriptives, il ressort une prédiction. n Dans le cadre de lapprentissage, on règle le poids des connexions entre des neurones pour satisfaire les exemples.

5 Cours DESS - 10 janvier Applications n Perception (vision, reconnaissance de la parole, reconnaissance de caractères, etc.). n Problèmes difficiles du traitement du signal. n Banque : prédire l'issue de prêts, le comportement par rapport au recouvrement. Prédire le comportement de nouveaux clients. Anticiper les bons risques et leur proposer des prêts.

6 Cours DESS - 10 janvier Structure des réseaux neuronaux (1/3)

7 Cours DESS - 10 janvier Structure des réseaux neuronaux (2/3) n Cas 'symbolique' La force de la cellule d'entrée i est de 1 si le fait F i est affirmé, de 0 si le fait F i n'est pas affirmé (= 1 si F i est présent = 0 si F i est absent). n Cas 'numérique' La force de la cellule d'entrée i est de f i si la force (= sa valeur numérique) du fait F i est de f i.

8 Cours DESS - 10 janvier Structure des réseaux neuronaux (3/3)

9 Cours DESS - 10 janvier Fonctions dentrées n E p = e i w ip n ou E p = e i w ip n ou E p = Max e i n ou E p = Min e i n ou …

10 Cours DESS - 10 janvier Fonctions dactivation n f(x) = 1/(1 + e -kx ) n f(x) = linéaire f(x) = -1 si x <= - 1/a; f(x) = 1 si x >= 1/a ; f(x) = a*x ailleurs n f(x) = tangente hyperbolique f(x)= (e gx - e -gx ) / (e gx + e -gx ) n f(x) = seuil f(x) = 0 si x <= b; f(x) = 1 si x > b ; n ou...

11 Cours DESS - 10 janvier Fonctions dactivation : la fonction sigmoïde n f(x) = 1/(1 + e -kx )

12 Cours DESS - 10 janvier Fonctions dactivation : la fonction sigmoïde n Si le coefficient k de 1/(1 + e -kx ) est grand, alors la force de chaque cellule est presque toujours proche de 0 ou de 1. On a un réseau neuronal relativement symbolique n Si f est une fonction de seuil alors le réseau est vraiment symbolique.

13 Cours DESS - 10 janvier Fonctions dactivation : la fonction sigmoïde n Si le coefficient k de 1/(1 + e -kx ) est petit, alors la force de chaque cellule est bien distribuée entre 0 et 1. n On a un réseau neuronal "distribué". Le coefficient k est un paramètre qui fait varier la forme de la fonction. Un autre paramètre, implicite, est "centre" de la fonction sigmoïde.

14 Cours DESS - 10 janvier Fonctions de sorties n En général, l'identité, n Egalement, binaire : sortie (x) = 1 si activation (x) > limite, 0 ailleurs.

15 Cours DESS - 10 janvier La rétro-propagation (1/4) En Apprentissage : n On examine un "fait" (suite de F i présents ou non - valeurs des faits) n On propage jusqu'aux cellules de sortie n On examine toutes les cellules de sortie n On compare le résultat à celui espéré n On rétropropage les différences dans les couches cachées

16 Cours DESS - 10 janvier La rétro-propagation (2/4) n Si erreur alors nouveau poids = ancien poids + changement de poids n w ij (t+1) = w ij (t) + w ij (t)

17 Cours DESS - 10 janvier La rétro-propagation (3/4) Pour les cellules liées à une cellule de sortie: n i = d s(entrée sur i) / d(entrée sur i) * Err n Err = valeur attendue - valeur observée n Note. Autre règle possible : soit err l'erreur effectuée sur le neurone de sortie et supposons qu'il y ait k neurones qui lui transmettent de l' info, alors w ij (t) = (err/k) * w ij (t) * Où est un "taux d'apprentissage". Il existe de nombreuses variations.

18 Cours DESS - 10 janvier La rétro-propagation (4/4) Pour une cellule de la couche cachée profonde ou de la couche d'entrée: n i est calculée par la même formule mais maintenant n Err i = p w ki p

19 Cours DESS - 10 janvier Rétro-propagation – Exemple (1/9) n Exemple dapprentissage par rétro-propagation: Sortie désirée : N5 = 1 N6 = 0 N7 = 1

20 Cours DESS - 10 janvier Rétro-propagation - Exemple (2/9) Hypothèses : n Entrée : e i w ik n Activation : 1/(1 + e - entrée ) n Sortie (de N4) : Si l'activation est inférieure à 0.5 alors 0, sinon 1 Faits n N1 = 1, N2 = 0.5, N3 = 0.2

21 Cours DESS - 10 janvier Rétro-propagation - Exemple (3/9) n Poids initiaux W 14 =0.3, W 24 =0.5, W 34 =0.1, W 45 =0.1, W 46 =1.0, W 47 =0.0

22 Cours DESS - 10 janvier Rétro-propagation - Exemple (4/9) n entrée sur N4 = 0.3*1+0.5* *0.2 = 0.57 n activation = 1 / 1+ e = n sortie de N4 = 1.0 n entrée sur N5 = 0.1 (1*0.1) n entrée sur N6 = 1 (1*1) n entrée sur N7 = 0.0(1*0)

23 Cours DESS - 10 janvier Rétro-propagation - Exemple (5/9) n Pour les cellules liées à une cellule de sortie: i = d s(entrée sur i) / d(entrée sur i) * Err Err = valeur attendue - valeur observée

24 Cours DESS - 10 janvier Rétro-propagation - Exemple (6/9) n Rappel : si s (x) = 1 / 1+ e -kx alors d s(x) / dx = k * s (x) * (1 - s(x)) [ Utiliser le fait que (1/v)' = -(v' / v 2 ) et que (e -kx )'= -k e -kx ] -(v' / v 2 ) = ke -x / (1+ e -kx ) 2 et 1 - (1 / 1+ e -kx ) = e -kx / 1+ e -kx 1 - s(x) = e -kx / 1+ e -kx donc k*s (x)*(1 - s(x)) = ke -x /(1+e -kx ) 2

25 Cours DESS - 10 janvier Rétro-propagation - Exemple (7/9) n Pour une cellule de la couche cachée et de la couche entrée i est calculée par la même formule mais maintenant Err i = p w ip p (ici p=5,6,7) 4 = ? n Wij = * j*(sortie de Ni) et W'ij = Wij + Wij avec = 1 N4

26 Cours DESS - 10 janvier Rétro-propagation - Exemple (8/9) n W14 = ? n W24 = ? n W34 = ? n W45 = ? n W47 = ? n W46 = ?

27 Cours DESS - 10 janvier Rétro-propagation - Exemple (9/9) Nouveaux poids n W14 = ? n W24 = ? n W34 = ? n W45 = ? n W46 = ? n W47 = ?

28 Cours DESS - 10 janvier Exemple dapplication (1/3) Approche Neuronale de la Notation de la Couverture Nuageuse n Segmentation en régions de l'image suivie d'une classification de ces régions par un réseau de neurones à apprentissage. n Pour fonctionner le réseau doit subir au préalable une phase d'apprentissage consistant à lui présenter des données typiques ainsi que les masques nuageux escomptés

29 Cours DESS - 10 janvier Exemple dapplication (2/3) n Les entrées de ce réseau sont constituées par les valeurs de sept mesures radiométriques effectuées sur une région particulière en vue de sa classification. n Les sorties du réseau sont des valeurs normalisées entre 0 et 1 et constituent des facteurs d'appartenance aux classes discriminées par le réseau (nuages denses, brumes denses et bords de nuages denses, brumes légères). Ces classes permettent de constituer la couverture nuageuse.

30 Cours DESS - 10 janvier Exemple dapplication (3/3) n Le principe de classification par réseau de neurones est la propagation d'un flux d'entrée constitué des sept mesures radiométriques d'une région d'une image à travers ce réseau. n Par leur configuration de poids les neurones vont être activés et fournir une réponse depuis la couche d'entrée vers la couche de sortie. n Les réponses du réseau fournissent alors des cartes de probabilité. Les niveaux de probabilités observés permettent de décider si les régions sont nuageuses et si l'on en est certain.

31 Cours DESS - 10 janvier Bibliogaphie n Cours dYves Kodratoff : n Antoine Cornuéjols - Laurent Miclet. Apprentissage Artificiel. Edition Eyrolles (2002).


Télécharger ppt "Les Réseaux Neuronaux Cours du module « Extraction des connaissances à partir de bases de données et de textes » DESS janvier 2003."

Présentations similaires


Annonces Google