La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 LES RESEAUX DE NEURONES Rachid Ladjadj IR 3e année.

Présentations similaires


Présentation au sujet: "1 LES RESEAUX DE NEURONES Rachid Ladjadj IR 3e année."— Transcription de la présentation:

1 1 LES RESEAUX DE NEURONES Rachid Ladjadj IR 3e année

2 2 SOMMAIRE Introduction Introduction Pourquoi les réseaux de neurones? Historique Le neurone biologique Le neurone biologique Le neurone formel Le neurone formel Le modèle Mc Culloch et Pitts Architecture des réseaux de neurones Architecture des réseaux de neurones Réseaux bouclés et réseaux non bouclés Notion dapprentissage Notion dapprentissage Apprentissage supervisé et non supervisé Quelques modèles de réseaux de neurones Quelques modèles de réseaux de neurones Le perceptron multicouche Le modèle de Hopefield Les cartes de Kohonen Exemples dapplications Exemples dapplications Conclusion Conclusion

3 3 Introduction

4 4 Pourquoi les réseaux de neurones? Caractéristiques de larchitecture du cerveau humain: Caractéristiques de larchitecture du cerveau humain: une architecture massivement parallèle une architecture massivement parallèle un mode de calcul et une mémoire distribués un mode de calcul et une mémoire distribués une capacité d'apprentissage une capacité d'apprentissage une capacité de généralisation une capacité de généralisation une capacité d'adaptation une capacité d'adaptation une résistance aux pannes une résistance aux pannes une faible consommation énergétique une faible consommation énergétique Introduction Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion

5 5 Introduction Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Utilisation des réseaux de neurones: Utilisation des réseaux de neurones: Classification Classification Catégorisation Catégorisation Approximation de fonctions Approximation de fonctions Prédiction - prévision Prédiction - prévision Optimisation Optimisation Mémoire adressable par le contenu Mémoire adressable par le contenu

6 6 Introduction Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Historique 1943 : 1943 : Modèle de McCulloch et Pitts Modèle de McCulloch et Pitts 1960 : 1960 : Rosenblatt : perceptron et théorème de convergence Rosenblatt : perceptron et théorème de convergence Minsky et Papert : limites du perceptron mono-couche Minsky et Papert : limites du perceptron mono-couche 1980 : 1980 : Modèle de Hopefield Modèle de Hopefield Werbos : rétropropagation dans le cadre des perceptrons multi-couches (popularisé en 1986 par Rumelhart) Werbos : rétropropagation dans le cadre des perceptrons multi-couches (popularisé en 1986 par Rumelhart)

7 7 Le neurone biologique

8 8 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Le neurone biologique Dendrites : Signaux dentrée Dendrites : Signaux dentrée Axone : Signal de sortie Axone : Signal de sortie

9 9 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Synapse Transmission entre un axone et une dendrite Transmission entre un axone et une dendrite Synapses excitatrices / synapses inhibitrices Synapses excitatrices / synapses inhibitrices

10 10 Le neurone formel

11 11 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Neurone formel: le modèle Mc Culloch et Pitts

12 12 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Interprétation mathématique

13 13 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Fonctions de transfert (ou fonctions dactivation) (a) : seuil (fonction de Heavyside) (a) : seuil (fonction de Heavyside) (b) : linéaire par morceaux (b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e – βx ) - 1 (c) : sigmoïde g(x) = (1 + e – βx ) - 1 (d) : gaussienne (d) : gaussienne

14 14 Architecture des réseaux de neurones

15 15 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Réseaux bouclés Les neurones ne peuvent pas être ordonnés de sorte quil ny ai pas de connexion vers larrière Les neurones ne peuvent pas être ordonnés de sorte quil ny ai pas de connexion vers larrière Exemple -> réseau entièrement connecté : Exemple -> réseau entièrement connecté :

16 16 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Réseaux « non bouclés » ou réseaux à couches Les neurones peuvent être ordonnés de sorte quil ny ai pas de connexion vers larrière Les neurones peuvent être ordonnés de sorte quil ny ai pas de connexion vers larrière Exemple -> réseau à une couche intermédiaire : Exemple -> réseau à une couche intermédiaire :

17 17 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Si Y est le vecteur des sorties et X le vecteur des entrées: Si Y est le vecteur des sorties et X le vecteur des entrées: Y = F W (X) F W : fonction dactivation du réseau F W : fonction dactivation du réseau W : vecteur des « poids » des liaisons synaptiques W : vecteur des « poids » des liaisons synaptiques Apprentissage = détermination des poids permettant dobtenir une sortie proche dune sortie Y 0 voulue à partir dune entrée X Apprentissage = détermination des poids permettant dobtenir une sortie proche dune sortie Y 0 voulue à partir dune entrée X

18 18 Notion dapprentissage

19 19 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Mise à jour des poids de connexion, en général à partir dun ensemble de données dentraînement Mise à jour des poids de connexion, en général à partir dun ensemble de données dentraînement Modification itérative des poids Modification itérative des poids Paradigme dapprentissage : modélisation de lenvironnement dans lequel le réseau opèrera. Paradigme dapprentissage : modélisation de lenvironnement dans lequel le réseau opèrera. 3 paradigmes dapprentissage: 3 paradigmes dapprentissage: Supervisé : on veut quà une entrée corresponde une sortie préalablement définie Supervisé : on veut quà une entrée corresponde une sortie préalablement définie Non supervisé : on veut construire un réseau dont on ne connaît pas a priori la sortie correspondant à des entrées données Non supervisé : on veut construire un réseau dont on ne connaît pas a priori la sortie correspondant à des entrées données Hybride Hybride Règles dapprentissage : gouvernent la mise à jour des poids du réseau Règles dapprentissage : gouvernent la mise à jour des poids du réseau Algorithme dapprentissage : procédure dans laquelle les règles dapprentissage sont utilisées en vue de lajustement des poids Algorithme dapprentissage : procédure dans laquelle les règles dapprentissage sont utilisées en vue de lajustement des poids

20 20 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion 4 types de règles dapprentissage: Correction derreur Correction derreur Apprentissage de Boltzmann Apprentissage de Boltzmann Règle de Hebb Règle de Hebb Apprentissage par compétition Apprentissage par compétition

21 21 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Correction derreur Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y) Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y) Algorithme de retro-propagation Algorithme de retro-propagation Algorithme dapprentissage du perceptron: Algorithme dapprentissage du perceptron: Initialisation des poids et du seuil à de petites valeurs aléatories Initialisation des poids et du seuil à de petites valeurs aléatories Présenter un vecteur dentrées x (μ) et calculer sa sortie Présenter un vecteur dentrées x (μ) et calculer sa sortie Mettre à jour les poids en utilisant : Mettre à jour les poids en utilisant : w j (t+1) = w j (t) + η (d- y) x j avec d la sortie désirée, w vecteur des poids

22 22 Quelques modèles de réseaux de neurones

23 23 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Le Perceptron multicouches Modèle du perceptron simple: Modèle du perceptron simple: pas de seuil pas de seuil fonction dactivation = fonction signe fonction dactivation = fonction signe Séparation de deux classes dentiers A et B -> apprentissage supervisé Séparation de deux classes dentiers A et B -> apprentissage supervisé Inconvénient : A et B doivent être linéairement séparables Inconvénient : A et B doivent être linéairement séparables

24 24 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion

25 25 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Le modèle de Hopefield Mémorisation de formes et de motifs Mémorisation de formes et de motifs Mémoire distribuée Mémoire distribuée Mémoire associative Mémoire associative

26 26 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion N neurones binaires (1 ou -1) : 2 N états possibles pour le réseau N neurones binaires (1 ou -1) : 2 N états possibles pour le réseau Réseau entièrement connecté, connexion de poids C ij = C ji Réseau entièrement connecté, connexion de poids C ij = C ji État du neurone i à linstant t: État du neurone i à linstant t: Létat du neurone i dépend de létat du réseau en général -> mémoire distribuée Létat du neurone i dépend de létat du réseau en général -> mémoire distribuée But : trouver les C ji qui vont permettre de mémoriser un état particulier du réseau But : trouver les C ji qui vont permettre de mémoriser un état particulier du réseau Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir dune configuration proche de Sm, converger vers Sm -> mémoire associative Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir dune configuration proche de Sm, converger vers Sm -> mémoire associative Principe de Hebb : Principe de Hebb :

27 27 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Les cartes de Kohonen On veut un réseau ayant deux caractéristiques particulières : On veut un réseau ayant deux caractéristiques particulières : Apprentissage non supervisé Apprentissage non supervisé Les réponses associées à des entrées voisines sont voisines : auto organisation Les réponses associées à des entrées voisines sont voisines : auto organisation Notion de voisinage entre les classes dobservation Notion de voisinage entre les classes dobservation Algorithme : Algorithme : Initialisation : à chaque classe on associe un vecteur code dans lespace dobservation Initialisation : à chaque classe on associe un vecteur code dans lespace dobservation Etape : on tire un point au hasard dans lespace des observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point. Etape : on tire un point au hasard dans lespace des observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point.

28 28 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion

29 29 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion

30 30

31 31 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion OCR

32 32 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Applications industrielles: Applications industrielles: Reconnaissance de codes postaux (AT&T, la Poste) Reconnaissance de codes postaux (AT&T, la Poste) Contrôle de paramètres de processus de production industrielle de pâte à papier (Siemens) Contrôle de paramètres de processus de production industrielle de pâte à papier (Siemens) Prévision de consommation deau (Générale des eaux) Prévision de consommation deau (Générale des eaux) Logiciels daide à la décision Logiciels daide à la décision Prévisions météorologiques Prévisions météorologiques

33 33 Conclusion

34 34 Introduction et historique Le neurone biologique Le neurone formel Architecture des r é seaux de neurones Notion d apprentissage Quelques mod è les de r é seaux de neurones Exemples d applications Conclusion Essor important ces 30 dernières années Essor important ces 30 dernières années Approximateurs universels Approximateurs universels Aujourdhui utilisés dans la vie quotidienne (systèmes de tarifications basés sur la classification des types de consommation) Aujourdhui utilisés dans la vie quotidienne (systèmes de tarifications basés sur la classification des types de consommation)


Télécharger ppt "1 LES RESEAUX DE NEURONES Rachid Ladjadj IR 3e année."

Présentations similaires


Annonces Google