La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la.

Présentations similaires


Présentation au sujet: "Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la."— Transcription de la présentation:

1 Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la drenèire soit à la bnnoe pclae. Le rsete peut êrte dnas un dsérorde ttoal et vuos puoevz tujoruos lrie snas porlblème. C'est prace que le creaveu hmauin ne lit pas chuaqe ltetre elle- mmêe, mias le mot cmome un tuot.

2 Chapitre 1 Réseaux de neurones artificiels

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 3 Plan 1- Neurone artificiel Modèle Activation Apprentissage Réseaux Historique Parallèle avec la statistique Taxonomie Simulateurs

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 4 Découverte J.M. Zurada, Introduction to Artificial Neural Systems, West Publishing, Approche ingénierie Orientation pédagogique Livre de référence pour études supérieures (SYS-843 Réseaux de neurones et systèmes flous) S. Thiria, Y. Lechevalier, O. Gascuel et S. Caru (Eds.), Statistiques et méthodes neuronales, Dunod (Paris), Découvert en France durant le sabbatique ( ) Aspect statistique des réseaux de neurones.

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 5 Aperçu des grands domaines dapplication des RNAs On utilise des réseaux de neurones artificiels (RNAs) pour tenter de résoudre des problèmes complexes qui sont plus faciles à résoudre par le cerveau que par un ordinateur Reconnaissance dun visage familier Système de sonar chez la chauve-souris Conduire sous la pluie Reconnaissance de forme

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 6 Exemple en reconnaissance de forme

7 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 7 Utilité des réseaux de neurones (1) Modèles de systèmes nerveux biologiques et de lintelligence Corps cellule unité de calcul Axone signal de sortie impulsions électriques Dendrites entrées du neurone impulsions électriques Synapses poids dune entrée impuls. réaction impuls.

8 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 8 Utilité des réseaux de neurones (2) Processeurs adaptatifs de signal en temps-réel Le processeur COKOS (Speckmann et al., 1994, tiré de Kohonen, SOM, 1997) : 8 unités parallèles de calcul MAB (Memory Arithmetic Board) Fonctions arithmétiques de base, structure SIMD. Mémoire RAM Représentation des données en 16 bits Prise de décision par un réseau Winner-Takes-All

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #2 - 9 Utilité des réseaux de neurones (3) Contrôleurs pour des applications de robotique Visuomotor Control of Robot Arm (Kohonen, SOM, 1997) : Le vecteur u de données dentrée est donné par la position de la cible Un réseau de neurone SOM à trois dimensions est lespace de représentation du bras robot Les coordonnées angulaires des joints du bras sont stockées dans le vecteur Apprentissage supervisé

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Utilité des réseaux de neurones (4) Analyse et interprétation de données - classification des canneberges tacy Indice canneberge

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Utilité des réseaux de neurones (4) Analyse et interprétation de données hauteurcorpulencetête

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Architecture de von Neumann (1) Unité centrale de traitement Mémoire Données Instructions et Données

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cycle dopération 1.Charger une instruction de la mémoire 2.Charger les données requises par linstruction 3.Exécuter linstruction (traiter les données) 4.Emmagasiner les résultats en mémoire 5.Retour à létape 1 Utilisation Description dun problème par un algorithme Traitement de symboles selon des règles Architecture de von Neumann (2)

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Caractéristiques des machines de von Neumann La machine doit connaître à lavance la séquence des opérations à effectuer: cest le programme Les données sont dans un format connu et précis Dégradation brusque des performances en cas de bris (crash) Correspondance entre les symboles manipulés et le matériel (chaque objet occupe un bloc précis de mémoire) Architecture de von Neumann (3)

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Difficultés pour les algorithmes de traitement dimage Certaines lettres inversées Changement de contexte

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Modèle dun neurone Neurone artificiel Unité de calcul simple qui essaie de mimer le fonctionnement dun neurone biologique

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le neurone biologique

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Modèle électrique de la membrane Na : sodium K : potassium Cl : chlore Batteries : pompes à ions Cm : capacité de la membrane Modèle Shunt (Grossberg) Le potentiel V Cl est approximé nul

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Sortie x1x1 x2x2 x3x3 x4x4 xnxn xNxN x5x5 Entrée X k W m 1 W m 2 W m 3 W m 4 W m 5 W m n W m N Modèle dun neurone artificiel ymym = f(a) net m m f : Binaire ou Signe Linéaire à seuil Sigmoïde a m (k) F(net,a) =

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Notation net m valeur dentréedu neurone m. Généralement 1 site par neurone. y m valeur de sortiedu neurone m. W mn poids de la connexion de la sortie du neurone n au synapse dentrée du neurone m a m activation du neurone m. Aussi appelé potentiel (noté x m ) F()fonction dactivation f()fonction de sortie m seuil ou polarisation du neurone m

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Fonction de site Utilisation dun seuil ou dune polarisation j En général, on considère m comme une connexion supplémentaire. net m m xnxn m seuil polarisation m

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # net m : Somme pondérée de toutes les entrées à ce site du neurone net m :lorsquil y a 1 site s im :lorsquil y a plus dun site par neurone W X

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Fonction dactivation F() Linéaire :la plus courante

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Shunt:simulation dune cellule nerveuse On part de léquation dynamique dunecellule nerveuse Excitation Inhibition passif

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Fonction de sortie f() Linéaire :y m = a m Binaire :souvent avec seuil m Signe :+1 si a m positive, -1 sinon Sigmoïde : compression de la plage de sortie, différentiable (pour la rétropropagation derreur)

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Sigmoïde Le paramètre T commande la pente à lorigine Sortie unipolaire Sortie bipolaire

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Résumé Un neurone (ou une couche) est caractérisé principalement (la plupart des modèles) par sa fonction de sortie et par la valeur de son seuil ou polarisation que lon indique dans le cercle du neurone. On modélise ce paramètre par un lien relié à 1

28 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exemple : Fonctions logiques X1X1 X2X2 Y 1 1 X1X1 X2X2 Y 2 2

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exemple : Fonctions logiques (2) X1X1 X2X2 Y ?

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exemple : Fonctions logiques (3)

31 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Apprentissage Apprentissage Modification des poids jusquà atteindre une sortie «correcte» pour les formes dentrée du set dapprentissage Généralisation Capacité du réseau à produire une réponse correcte à une forme non-apprise

32 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Règle dapprentissage Fonction de modification des poids avec r : signal dapprentissage avec : constante dapprentissage Catégories dapprentissage Superviséprésence du tuteur d j Non-superviséabsence de signal-tuteur

33 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # = a i (k) F(net,a) yiyi = f(a) net i j x1x1 x2x2 x3x3 x4x4 xnxn xNxN x5x5 Sortie y i W i 1 W i 2 W i 3 W i 4 W i 5 W i n W i N Entrée X Générateur du signal dapprentissage xnxn w i n didi r

34 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de neurones Simple couche, par anticipation

35 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Multicouche, en cascade entréecachéesortie y1y1 y2y2 d2d2 d1d1 x2x2 x1x1

36 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Multicouche, en cascade, partiel Champ récepteur de i i

37 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Multicouche, résonant

38 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Monocouche, récurrent

39 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Historique McCulloch & Pitts1943 Modèle simple de neurone biologique. Sortie binaire, poids fixes Réseaux pour simuler opérations logiques de base (ex.: portes ET, OU, OU Exclusif) Donald Hebb (McGill)1949 Professeur éminent de psychologie Première loi dapprentissage Rosenblatt1959 Perceptron

40 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Minsky & Papert1969 Article qui monte les limitations du Perceptron Période de grande noirceur Chercheurs actifs : Grossberg ; Fukishawa Kohonen ; Amari ; Anderson Hopfield1982 Groupe PDP1986 Renaissance de lintérêt

41 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Statistique et réseaux de neurones Une question de nomenclature? Réseaux de neuronesStatistiques ApprentissageEstimation PoidsParamètres ConnaissanceValeur des paramètres Apprentissage superviséRégression / classification ClassificationDiscrimination / classement Apprentissage non-superviséEstimation de densité / clustering ClusteringClassification / taxinomie Réseau de neuronesModèle Grand : poidsGrand : 50 paramètres Ensemble dapprentissageÉchantillon Grand : exemplesGrand : 200 cas.

42 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Taxonomie La taxonomie consiste à bâtir un arbre de classification des réseaux neuroniques selon le nombre de couches, la méthode de recherche de solution et la règle dapprentissage Une des toutes premières taxonomies proposée dans la littérature fut larbre de classification de Lippmann, en Cet arbre de classification a longtemps été considéré comme un classique dans le domaine.

43 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Taxonomie de Lippmann (1987)

44 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Taxonomie de Jain et al. (1996)

45 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Taxonomie générale # couches dynamique modèle apprentis.

46 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Espace d'entrée X Extraction des primitives Espace des primitives Y Système de décision Espace des décisions D Problématique Taxonomie pour la reconnaissance de formes

47 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau de neurones dextraction de primitives Système de décision Espace dobjets Espace des primitives Espace des décisions Les réseaux de neurones extracteurs de primitives

48 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Composantes principales Système de décision Espace dobjets Espace des primitives Espace des décisions a) Vecteurs propres v x z u V1 V2 y y1y z x1x1 i j i j

49 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Extraction des primitives P1, P2, P3 Vecteurs prototypes Espace dobjets Espace des primitives Espace des décisions d1 z d2 d3 P1 P2 P3 b) Prototypes

50 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Primitives visuelles Système de décision Espace dobjets Espace des primitives Espace des décisions c) Primitives visuelles

51 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Éléments linéaires Système de décision Espace dobjets Espace des primitives Espace des décisions c) Primitives visuelles (suite)

52 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Extraction des primitives Réseau de neurones classifieur Espace dobjets Espace des primitives Espace des décisions Les réseaux de neurones classifieurs

53 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau dextraction de primitives / classifieurs Extraction des primitives Système de décision Espace dobjets Espace des primitives (dobservations) Espace des décisions Les réseaux de neurones extracteurs/classifieurs

54 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Taxonomie pour la reconnaissance de formes

55 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Simulateurs Approche objet Environnement graphique évolué Inspirée de la POO Neurone objet –Attributs o Valeur dactivation o Valeur de sortie o Poids o etc. –Méthodes o Fonctions dactivation, de sortie o Apprentissage

56 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approche matricielle Utilisation de logiciels spécialisés en traitement matriciel –MATLAB –Mathematica couche vecteur poids matrice

57 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approche par programmation Environnement de simulation Language orienté objet : C++ ou Java Objet informatique : –Attributs –Méthodes Valentini, G. & Masulli, F. (2002). NEURObjects: an object-oriented library for neural network development. Neurocomputing, 48,

58 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # YANNS Yet Another Neural Network Simulator rocq.inria.fr/~crucianu/yanns/ Langage de description simple Interface graphique multiplateforme en Java Noyau de simulation et bibliothèque en C++ Boné, R., Crucianu, M., et Asselin de Beauville, J.-P., «Yet Another Neural Network Simulator», dans Proceedings of the NEURal networks and their APplications (NEURAP'98), 1998, Vol., tenue à Marseille, Francep


Télécharger ppt "Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la."

Présentations similaires


Annonces Google