La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Introduction générale aux réseaux de neurones artificiels 1.

Présentations similaires


Présentation au sujet: "Introduction générale aux réseaux de neurones artificiels 1."— Transcription de la présentation:

1 Introduction générale aux réseaux de neurones artificiels 1

2 Introduction générale aux réseaux de neurones 2

3 DEFINITION Définition Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur élémentaire calcule une sortie unique sur la base des informations qu'il reçoit. Toute structure hiérarchique de réseaux est évidemment un réseau. 3

4 James [1890] : mémoire associative McCulloch & Pitts [1943] A logical calculus of the ideas immanent in nervous activities neurone formel Les ordinateurs à codage binaire (Von Neumann) L intelligence artificielle (calcul symbolique) Les réseaux de neurones Hebb [1949] Organisation of behavior le conditionnement est une propriété des neurones loi dapprentissage 4

5 Historique les premiers succès Rosenblatt [1957] : le perceptron, premier modèle opérationnel reconnaissance d une configuration apprise tolérance aux bruits Widrow [1960] : adaline, adaptive linear element Minsky & Papert [1969] : impossibilité de classer des configurations non linéairement séparables abandon (financier) des recherches sur les RNA 5

6 Historique lombre et le renouveau [ ] : Mise en sommeil des recherches sur les RNA. Elles continuent sous le couvert de domaines divers. Grossberg, Kohonen, Anderson,... Hopfield [1982] : modèle des verres de spins Boltzmann [1983] : première réponse à Minsky et Papert [1985] : la rétro-propagation du gradient et le perceptron multicouche Rumelhart, McClelland, … [1985] : le groupe Parallel Distributed Processing 6

7 Domaines dapplication Classification : répartir en plusieurs classes des objets données quantitatives informations qualitatives reconnaissance des formes Recherche Opérationnelle résoudre des problèmes dont on ne connaît pas la solution Mémoire Associative restituer une donnée à partir dinformations incomplètes et/ou bruitées. 7

8 Analogie entre neurone biologique/Artificiel 8

9 Par définition un réseau neuromimétique est constitué de neurones formels et ceux-ci sont reliés entre eux via des flèches ce qui donne un graphe orienté. En comparaison avec son homologue biologique, le neurone formel est constitué de synapses qui sont représentées par des flèches pondérées, dun centre qui est léquivalent du noyau cellulaire où se déroule les activités mathématiques telles que la sommation des entrées ainsi que la fonction dactivation (f(a)) qui sapplique à la sommation des entrées pour être comparée au seuil dactivité Θ, et dune sortie qui est léquivalent de laxone. Chaque neurone formel est un automate complètement indépendant, dont létat, une valeur scalaire, définie son activité ou activation a. neurone formel 9

10 Les composantes dun réseau neuromimétique peuvent donc être définies de cette façon : - X1, X2, X3, X4, … Xn constituent les valeurs dentrées (valeurs scalaires). - w1, w2, w3, w4, … wn constituent la pondération de chaque flèches ou synapses. - f constitue une fonction dactivation. - a constitue une valeur scalaire dactivation ( la Σ des entrées pondérées). - Θ constitue le seuil. - Y est la sortie neurone formel 10

11 Le Neurone Formel Le neurone formel, lunité élémentaire dun RNA, se compose de deux parties : évaluation de la stimulation reçue évaluation de son activation (fonction f) Il est caractérisé par : son état (binaire, discret, continu) le niveau dactivation reçu en entrée (continu) le poids des connections en entrée W i 11

12 Neurone formel Dans sa première version, le neurone formel était donc implémenté avec une fonction à seuil (a), mais de nombreuses versions existent. Ainsi le neurone de McCulloch et Pitts a été généralisé de différentes manières, en choisissant d'autres fonctions d'activations, comme les fonctions linéaires par morceaux (b), des sigmoïdes (c) ou des gaussiennes (d) par exemples. 12

13 Les fonctions dactivation : Neurone Formel 13

14 La fonction linéaire et la fonction à seuil : Neurone Formel 14

15 La fonction sigmoïde : Le Neurone Formel 15

16 Apprentissage DÉFINITION APPRENTISSAGE SUPERVISÉ APPRENTISSAGE NON SUPERVISÉ RÈGLES D APPRENTISSAGE 16

17 Définition L apprentissage est une phase du développement dun réseau de neurones durant laquelle le comportement du réseau est modifié jusquà lobtention du comportement désiré. On distingue deux grandes classes dalgorithmes dapprentissage : Lapprentissage supervisé Lapprentissage non supervisé 17

18 Apprentissage supervisé superviseur réseau sortie désiréesortie obtenue erreur ENTREES 18

19 Apprentissage non supervisé réseau sortie obtenue ENTREES 19

20 Règles dapprentissage Lapprentissage consiste à modifier le poids des connections entre les neurones. Il existe plusieurs règles de modification : Loi de Hebb : w ij =Ra i a j Règle de Widrow-Hoff (delta rule) : w ij =R(d i - a i )a j Règle de Grossberg : w ij =R(a j - w ij )a i ij W ij 20

21 Règles dapprentissage Loi de Hebb : Si deux unités connectées sont actives simultanément, le poids de leur connexion est augmenté ou diminué. R est une constante positive qui représente la force d'apprentissage (learning rate). ai = -1ai = 1 aj = -1 Wij = R Wij = -R aj = 1 Wij = -R Wij = R 21

22 Règles dapprentissage ai = 0ai = 1 di = 0 Wij = 0 Wij = -R di = 1 Wij = R Wij = 0 Loi de Widrow-Hoff (delta rule) : ai activation produite par le réseau di réponse désirée par l'expert humain Par exemple si la sortie est inférieure à la réponse désirée, il va falloir augmenter le poids de la connexion à condition bien sûr que l'unité j soit excitatrice (égale à 1). On est dans l'hypothèse d'unités booléennes {0,1}. 22

23 Règles dapprentissage Loi de Grossberg : On augmente les poids qui entrent sur l'unité gagnante a i s'ils sont trop faibles, pour les rapprocher du vecteur d'entrée a j. Cest la règle dapprentissage utilisée dans les cartes auto- organisatrices de Kohonen 23

24 Différents types de réseaux de neurones 1. Le perceptron 1.1. Description 1.2. Loi dapprentissage du perceptron 2. Les réseaux (filtres) linéaires 2.1. Description 2.2. Algorithme dapprentissage (LMS ou Windrow-Hoff algorithme 3. Le perceptron multicouche 3.1. Description 3.2. La rétropropagation ou algorithme dapprentissage de « Backpropagation » 4. Les réseaux de neurones à fonctions radiales de base (Radial Basis Network) 4.1. Description 4.2. Les réseaux de neurones à régression généralisée (Generalized Regression Networks) 4.3. Les réseaux de neurones probabilistes (Probabilistic Neural Networks) 5. Les réseaux récurent 6.1. Réseaux de Elman_ 6.2. Réseaux de Hopfield 24

25 Soient p et t les vecteurs d entrée et sortie cible utilis é s pour l apprentissage du perceptron et a est r é ponse du perceptron. L é volution de la valeur des poids W et des biais b du perceptron vont varier, à chaque fois que les vecteurs d entr é e sont pr é sent é s au perceptron, selon la r è gle : Description & loi dapprentissage du perceptron 25

26 Soient p et t les vecteurs d entr é e et sortie cible utilis é s pour l apprentissage du r é seau et a est la r é ponse du r é seau. L objectif est de minimiser la fonction co û t F (erreur quadratique moyenne entre entr é es et r é ponses du r é seau) d é finie comme Q é tant le nombre d exemples. 26 Les réseaux linéaire: Algorithme dapprentissage (LMS ou Windrow-Hoff algorithme)

27 Un réseau multicouche nest rien dautre quun assemblage de couches concaténées les unes aux autres de gauche vers la droite. Léquation qui décrit les sorties dune couche k dans un perceptron multicouche est donnée par : 27 Perceptron multicouche

28 Le perceptron multicouche activation fonction tangente hyperboliquefonction sigmoïde 28

29 Le perceptron multicouche apprentissage : retropropagation de lerreur 29

30 Ici, la fonction de transfert est une exponentielle. Lopérateur sommation disparaît au profit de lopération multiplication (élément par élément des matrices). Les réseaux à bases radiales nécessitent beaucoup plus de neurones quun réseau feedforward. Les réseaux de neurones à fonctions radiales de base (Radial Basis Network) 30

31 Le réseau de Elman à des neurones tansig dans sa couche cachée récurrente et un neurone linéaire dans sa couche de sortie. Ce type de réseau peut aussi approximer nimporte quelle type de fonction pourvu que la couche cachée ait assez de neurones. Puisque ce réseau peut enregistrer de linformation pour une référence future, il est capable dapprendre des associations aussi bien temporelles que spatiales. Réseau de Elman 31

32 Réseau de Hopfield 32

33 Le modèle de Hopfield la théorie des verres de spin : un modèle dynamique La renaissance du connexionisme théorie des verres de spin modèle dynamique et récurrent réseau complètement connecté apprentissage par loi de Hebb Le rappel associatif se fait en minimisant une fonction dénergie pour tomber dans lun des attracteurs correspondant aux formes mémorisées Si on a N unités dans le réseau, on peut mémoriser 0,14 pattern différents 33

34 Les réseaux de Hopfield sont des réseaux récurrents et entièrement connectés. Dans ce type de réseau, chaque neurone est connecté à chaque autre neurone et il n'y a aucune différenciation entre les neurones d'entrée et de sortie. Ils fonctionnent comme une mémoire associative non-linéaire et sont capables de trouver un objet stocké en fonction de représentations partielles ou bruitées. L'application principale des réseaux de Hopfield est l'entrepôt de connaissances mais aussi la résolution de problèmes d'optimisation. Le mode d'apprentissage utilisé ici est le mode non-supervisé. 34 Réseau de Hopfield

35 Le modèle de Hopfield larchitecture du réseau Les neurones de Hopfield sont discrets et répondent à une fonction seuil. Pour des commodités dutilisation, on considère une fonction seuil très simple : 1, si x > 0 F(x) = -1, sinon Le réseau est complètement connecté, et les connexions sont symétriques. Les valeurs dentrée sont binaires (-1, 1) mais peuvent être aisément remplacées par les valeurs binaires usuelles (0, 1) en utilisant une simple transformation. A (-1,1) = 2.A (0,1)

36 Le modèle de Hopfield principe de fonctionnement Apprentissage (loi de Hebb): Utilisation : un vecteur est présenté au réseau les neurones calculent leurs sorties les sorties sont propagées et on itère jusqu à la convergence 36

37 Le modèle de Hopfield principe de fonctionnement Modification de létat dun neurone Energie du réseau 37

38 Le modèle de Hopfield les mémoires associatives Dans une mémoire informatique classique, une information est retrouvée à partir d'une clé arbitraire. Par opposition, une donnée entreposée dans une mémoire associative est accessible à partir d'informations qui lui sont associées. La fonction d'une mémoire associative est de restituer une information en tenant compte de sa perturbation ou de son bruit. L'information doit alors se rapprocher d'une information apprise ou connue. Si les mémoires associatives restituent des informations qu'elles ont apprises à partir d'entrées incomplètes ou bruitées, il existe aussi des mémoires hétéro-associatives qui en plus peuvent associer plusieurs informations entre elles. 38

39 39 Récapitulatif

40 Les étapes de la conception dun réseau de neurone 40 Choix et préparation des échantillons Comme dans les cas d'analyse de données, cette étape est cruciale et va aider le concepteur à déterminer le type de réseau le plus approprié pour résoudre son problème. La façon dont se présente l'échantillon conditionne : le type de réseau, le nombre de cellules d'entrée, le nombre de cellules de sortie et la façon dont il faudra mener l'apprentissage, les tests et la validation. Elaboration de la structure du réseau La structure du réseau dépend étroitement du type des échantillons. Il faut d'abord choisir le type de réseau : un perceptron standard, un réseau de Hopfield, un réseau à décalage temporel (TDNN), un réseau de Kohonen, un ARTMAP etc... Dans le cas du perceptron par exemple, il faudra aussi choisir le nombre de neurones dans la couche cachée. Apprentissage L'apprentissage consiste tout d'abord à calculer les pondération optimales des différentes liaisons, en utilisant un échantillon. La méthode la plus utilisée est la rétropropagation : on entre des valeurs du les cellules d'entrée et en fonction de l'erreur obtenue en sortie (le delta), on corrige les poids accordés aux pondérations. C'est un cycle qui est répété jusqu'à ce que la courbe d'erreurs du réseau ne soit croissante (il faut bien prendre garde ne ne pas sur-entrainer un réseau de neurones qui deviendra alors moins performant). Il existe d'autres méthodes d'apprentissage telles que le quickprop par exemple. Validation et Tests Alors que les tests concernent la vérification des performances d'un réseau de neurones hors échantillon et sa capacité de généralisation, la validation est parfois utilisée lors de l'apprentissage (ex: cas du early stopping). Une fois le réseau calculé, il faut toujours procéder à des tests afin de vérifier que notre réseau réagit correctement.


Télécharger ppt "Introduction générale aux réseaux de neurones artificiels 1."

Présentations similaires


Annonces Google