GPA-779 Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère.

Présentation au sujet: "GPA-779 Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère."— Transcription de la présentation:

1 GPA-779 Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la drenèire soit à la bnnoe pclae. Le rsete peut êrte dnas un dsérorde ttoal et vuos puoevz tujoruos lrie snas porlblème. C'est prace que le creaveu hmauin ne lit pas chuaqe ltetre elle-mmêe, mias le mot cmome un tuot. Illustration de la facilité de traitement par l’approche neuronale comparée à un programme informatique sur un ordinateur qui traite l’information essentiellement de façon séquentielle. Automne 2003

2 GPA-779 Réseaux de neurones artificiels
Chapitre 1 Réseaux de neurones artificiels Automne 2003

3 Plan 1- Neurone artificiel Modèle Activation Apprentissage Réseaux
GPA-779 Plan 1- Neurone artificiel Modèle Activation Apprentissage Réseaux Historique Parallèle avec la statistique Taxonomie Simulateurs Rôle du babillard: Période de durée variable au début de chaque cours réservée pour les étudiants Révision de la matière du cours précédent Questions sur le labo Indications sur le labo de la semaine Questions sur la matière du cours Échange d’infos Automne 2003

4 GPA-779 Découverte J.M. Zurada, Introduction to Artificial Neural Systems, West Publishing, 1992. Approche ingénierie Orientation pédagogique Livre de référence pour études supérieures (SYS-843 Réseaux de neurones et systèmes flous) S. Thiria, Y. Lechevalier, O. Gascuel et S. Caru (Eds.), Statistiques et méthodes neuronales, Dunod (Paris), 1997. Découvert en France durant le sabbatique ( ) Aspect statistique des réseaux de neurones. Livre de Zurada: obtenu lors de la conférence IJCNN 1992, à Baltimore. Automne 2003

5 Aperçu des grands domaines d’application des RNAs
GPA-779 Aperçu des grands domaines d’application des RNAs On utilise des réseaux de neurones artificiels (RNAs) pour tenter de résoudre des problèmes complexes qui sont plus faciles à résoudre par le cerveau que par un ordinateur Reconnaissance d’un visage familier Système de sonar chez la chauve-souris Conduire sous la pluie Reconnaissance de forme Ref acétate du début du cours Reconnaître un visage familier dans un environnement non-familier Dans une foule, dans diverses conditions et angles d’éclairage, sous un angle d’observation variable, en présence de pénombre, etc. Système de sonar chez la chauve-souris: capable de détecter la distance de la cible, mais aussi sa vitesse relative, sa grosseur, la grosseur de ses composantes principales, son azimuth et son élévation. Les sonars de sous-marins et les radars dopplers sont basés sur le principe des sonars de chauve-souris. Conduire sous la pluie: Zone d’intérêt du système visuel est adaptatif. On ne tient pas compte des essuie-glaces, qui sont pourtant le principal objet d’intérêt, celui auquel on devrait normalement fixer son attention puisqu’il est en mouvement. Reconnaissance de forme: le problème illustré (en pressant sur la flèche) est un problème de perception visuelle qui complète admirablement l’information manquante Automne 2003

6 Exemple en reconnaissance de forme
GPA-779 Exemple en reconnaissance de forme Malgré le fait que l’image ne soit constituée que de taches ± au hasard, notre cerveau perçoit l’organisation spatiale pour en déceler une scène familière. Quelques indices pour déclencher le processus de reconnaissance: présence d’un arbre, sous-sol boisé, tête penchée d’un chien tacheté (dalmatien) Une fois qu’on a fini par décoder la scène, le temps de reconnaissance est par la suite presqu’instantanée. Même plusieurs mois ou années après. Automne 2003

7 Utilité des réseaux de neurones (1)
GPA-779 Utilité des réseaux de neurones (1) Modèles de systèmes nerveux biologiques et de l’intelligence Corps cellule  unité de calcul Axone  signal de sortie impulsions électriques Dendrites  entrées du neurone Synapses  poids d’une entrée impuls.  réaction  impuls. Principaux axes de recherche Biologie: Modélisation de systèmes nerveux L’objectif principal de cet axe de recherche important consiste à bâtir des réseaux de neurones artificiels qui miment le fonctionnement des réseaux neuronaux biologiques. Grâce à ces simulations, on vise une meilleure compréhension du fonctionnement de diverses parties du cerveau. Un exemple de groupe de recherche très actif dans cet axe: Université de Boston, avec entre autre le couple Stephen Grossberg et Gail Carpenter. Automne 2003

8 Utilité des réseaux de neurones (2)
GPA-779 Utilité des réseaux de neurones (2) Processeurs adaptatifs de signal en temps-réel 2- Traitement parallèle ref: Kohonen, SOM, 1997, section The COKOS Chip Coprocesseur sous forme de puce. Implentation matricielle d’un réseau de neurones. Structure SIMD - Single Instruction Multiple Data, appropriée pour RN. Traitement parallèle. Coprocesseur pour réseau topologique SOM de Kohonen. L’équipe a aussi travaillé sur un coprocesseur pour améliorer la vitesse d’un perceptron multicouche. Le processeur COKOS (Speckmann et al., 1994, tiré de Kohonen, SOM, 1997) : 8 unités parallèles de calcul MAB (Memory Arithmetic Board) Fonctions arithmétiques de base, structure SIMD. Mémoire RAM Représentation des données en 16 bits Prise de décision par un réseau Winner-Takes-All Automne 2003

9 Utilité des réseaux de neurones (3)
GPA-779 Utilité des réseaux de neurones (3) Contrôleurs pour des applications de robotique 3- Reconnaissance de formes: unités de commande en robotique Entrée du réseau: images fournies par 2 caméras. Coordonnées 3D de la cible obtenues par stéréoscopie. Réseau: topologique, de type SOM. Représente l’espace de travail du réseau. Chaque neurone représente un voxel (cube) dans l’espace 3D de représentation. Visuomotor Control of Robot Arm (Kohonen, SOM, 1997) : Le vecteur u de données d’entrée est donné par la position de la cible Un réseau de neurone SOM à trois dimensions est l’espace de représentation du bras robot Les coordonnées angulaires des joints du bras sont stockées dans le vecteur q Apprentissage supervisé Automne 2003

10 Utilité des réseaux de neurones (4)
GPA-779 Utilité des réseaux de neurones (4) Analyse et interprétation de données - classification des canneberges 1 -1 40 50 60 tacy Indice canneberge Automne 2003

11 Utilité des réseaux de neurones (4)
GPA-779 Utilité des réseaux de neurones (4) Analyse et interprétation de données Projet CAESAR mené entre 1999 et 2001 aux Etats-Unis, Italie et Pays Bas. Numérisation 3D avec caméras à balayage synchrone laser de 6000 civils dans trois postures bien identifiées. On recherche de nouvelles mesures anthropométriques afin de mieux caractériser la forme du corps humain. Les industries du vêtement et des chapeaux, l’aviation militaire, l’ergonomie sont particulièrement intéressés par cette étude. Les nuages de données 3D ont été analysés statistiquement (Analyse par composantes principales) afin de dégager les principaux axes de variabilité de la forme du corps humain. Il n’est pas surprenant de constater que le principal facteur de forme qui varie d’un être humain à un autre est la hauteur. Ce qui différencie le plus les humains est la hauteur, la grandeur. Le deuxième facteur le plus important de variation est la corpulence, la grosseur. Et le troisième facteur de variation est … la forme de la tête!! C’est un résultat passablement surprenant. Et ce qui est le plus étonnant, c’est de constater de quelle façon la forme de la tête varie. Des données sûrement importantes pour l’industrie du couvre-chef et qui peuvent influencer les façons de designer les chapeaux. hauteur corpulence tête Automne 2003

12 Architecture de von Neumann (1)
GPA-779 Architecture de von Neumann (1) Unité centrale de traitement Instructions et Données Données On essaie d’utiliser une structure inspirée (très imparfaitement) du cerveau avec ses neurones afin de pouvoir résoudre ces divers problèmes. On cherche une alternative à l’approche classique d’exécution séquentielle d’un algorithme (recette). L’ordinateur classique est essentiellement composé de 2 unités: l’UCT et la mémoire. En supplément pour pouvoir communiquer avec l’extérieur, une ou plusieurs unités d’E/S font interface avec l’UCT. Mémoire Automne 2003

13 Architecture de von Neumann (2)
GPA-779 Architecture de von Neumann (2) Cycle d’opération 1. Charger une instruction de la mémoire 2. Charger les données requises par l’instruction 3. Exécuter l’instruction (traiter les données) 4. Emmagasiner les résultats en mémoire 5. Retour à l’étape 1 Utilisation Description d’un problème par un algorithme Traitement de symboles selon des règles Ce type d’architecture se prête particulièrement bien au développement d’algorithmes (recettes) qui seront exécutés selon une séquence bien déterminée, le programme. L’approche symbolique de l’IA utilise cette architecture où l’on désire découvrir la séquence exacte de règles à reproduire pour simuler un comportement intelligent. Automne 2003

14 Architecture de von Neumann (3)
GPA-779 Architecture de von Neumann (3) Caractéristiques des machines de von Neumann La machine doit connaître à l’avance la séquence des opérations à effectuer: c’est le programme Les données sont dans un format connu et précis Dégradation brusque des performances en cas de bris (crash) Correspondance entre les symboles manipulés et le matériel (chaque objet occupe un bloc précis de mémoire) Ces caractéristiques sont tout à fait à l’opposé d’une architecture neuronale. Automne 2003

15 Difficultés pour les algorithmes de traitement d’image
GPA-779 Difficultés pour les algorithmes de traitement d’image Certaines lettres inversées Changement de contexte Quelques exemples où les algorithmes classiques de traitement d’image ont beaucoup de difficultés à extraire l’information, même après entraînement (ou apprentissage): Lettres inversées (en partie) dans un mot. L’humain corrige et perçoit instantanément Une machine peut être programmée pour apprendre à détecter rapidement une famille de symbole, genre le symbole d’une usine comme dans cet exemple. Problème d’interprétation lorsque le symbole change de catégorie. Automne 2003

16 1.1 Modèle d’un neurone Neurone artificiel
GPA-779 1.1 Modèle d’un neurone Neurone artificiel Unité de calcul simple qui essaie de mimer le fonctionnement d’un neurone biologique Ref livre section 1.3 et Notations Automne 2003

17 GPA-779 Le neurone biologique Inspiration biologique Automne 2003

18 Modèle électrique de la membrane
GPA-779 Modèle électrique de la membrane Na : sodium K : potassium Cl : chlore Batteries : pompes à ions Cm : capacité de la membrane Modèle Shunt (Grossberg) Le potentiel VCl est approximé nul Automne 2003

19 Modèle d’un neurone artificiel
GPA-779 Modèle d’un neurone artificiel Sortie x1 x2 x3 x4 xn xN x5 Entrée Xk Wm 1 Wm 2 Wm 3 Wm 4 Wm 5 Wm n Wm N netm m am (k) F(net,a) = ym = f(a) am  xn = potentiel de la cellule, ou valeur d’activation. f : Binaire ou Signe Linéaire à seuil Sigmoïde Automne 2003

20 GPA-779 Notation netm valeur d’entrée du neurone m. Généralement 1 site par neurone. ym valeur de sortie du neurone m. Wmn poids de la connexion de la sortie du neurone n au synapse d’entrée du neurone m am activation du neurone m. Aussi appelé potentiel (noté xm) F() fonction d’activation f() fonction de sortie m seuil ou polarisation du neurone m On utilise la notation de seuil dans les TLUs et celle de polarisation dans le perceptron multicouche et le perceptron classique. Attention aux indices de poids! Le premier indice représente le neurone qui reçoit la connexion et le second indique le neurone à l’entrée de la connexion. Cette notation favorise la notation matricielle et vectorielle, comme nous allons le voir par la suite. Automne 2003

21 1.2 Fonction de site Utilisation d’un seuil ou d’une polarisation j
GPA-779 1.2 Fonction de site netm xn m Utilisation d’un seuil ou d’une polarisation j En général, on considère m comme une connexion supplémentaire. m seuil polarisation m Automne 2003

22 netm : Somme pondérée de toutes les entrées à ce site du neurone
GPA-779 netm : Somme pondérée de toutes les entrées à ce site du neurone netm : lorsqu’il y a 1 site sim : lorsqu’il y a plus d’un site par neurone Notion très importante et centrale du produit scalaire entre l’entrée du neurone et son vecteur de poids. Mesure l’écart entre le vecteur de poids et le vecteur d’entrée.  W X Automne 2003

23 1.3 Fonction d’activation F()
GPA-779 1.3 Fonction d’activation F() Linéaire : la plus courante Automne 2003

24 Shunt: simulation d’une cellule nerveuse
GPA-779 Shunt: simulation d’une cellule nerveuse On part de l’équation dynamique d’une cellule nerveuse TABLEAU da = a(n+1) - a(n) a= a(n) A = facteur de décroissance A = 1 pas de contre-réaction A < 1 système du 1er ordre B = valeur max. C = valeur min. E = valeur nette d’excitation (on a 2 sites) I = valeur nette d’inhibition I = -Somme(wij yj) Excitation Inhibition passif Automne 2003

25 1.4 Fonction de sortie f() Linéaire : ym = am
GPA-779 1.4 Fonction de sortie f() Linéaire : ym = am Binaire : souvent avec seuil m Signe : +1 si am positive, -1 sinon Sigmoïde : compression de la plage de sortie, différentiable (pour la rétropropagation d’erreur) Automne 2003

26 Sigmoïde Le paramètre T commande la pente à l’origine
GPA-779 Sigmoïde Le paramètre T commande la pente à l’origine Sortie unipolaire Sortie bipolaire Automne 2003

27 GPA-779 Résumé Un neurone (ou une couche) est caractérisé principalement (la plupart des modèles) par sa fonction de sortie et par la valeur de son seuil ou polarisation que l’on indique dans le cercle du neurone. On modélise ce paramètre par un lien relié à 1 Automne 2003

28   Exemple : Fonctions logiques 1 2 X1 X1 Y Y X2 X2 GPA-779
Automne 2003

29 GPA-779 Exemple : Fonctions logiques (2) ? X1 Y X2   Automne 2003

30 GPA-779 Exemple : Fonctions logiques (3)  Automne 2003

31 1.5 Apprentissage Apprentissage Généralisation
GPA-779 1.5 Apprentissage Apprentissage Modification des poids jusqu’à atteindre une sortie «correcte» pour les formes d’entrée du set d’apprentissage Généralisation Capacité du réseau à produire une réponse correcte à une forme non-apprise Automne 2003

32 Règle d’apprentissage
GPA-779 Règle d’apprentissage Fonction de modification des poids avec r : signal d’apprentissage avec  : constante d’apprentissage Catégories d’apprentissage Supervisé présence du tuteur dj Non-supervisé absence de signal-tuteur L’apprentissage est essentiellement une opération de corrélation (ressemblance) entre l’entrée de la connexion et un signal d’apprentissage r qui varie en fonction du modèle d’apprentissage Automne 2003

33 x1 x2 x3 x4 x5 xn Générateur du xN signal d’apprentissage Entrée X
GPA-779 = ai (k) F(net,a) yi f(a) neti j x1 x2 x3 x4 xn xN x5 Sortie yi Wi 1 Wi 2 Wi 3 Wi 4 Wi 5 Wi n Wi N Entrée X Générateur du signal d’apprentissage xn  wi n di r Automne 2003

34 1.6 Réseaux de neurones Simple couche, par anticipation GPA-779
Automne 2003

35 Multicouche, en cascade
GPA-779 Multicouche, en cascade y1 d1 x1 x2 y2 d2 entrée cachée sortie Automne 2003

36 Multicouche, en cascade, partiel
GPA-779 Multicouche, en cascade, partiel Champ récepteur de i i Automne 2003

37 GPA-779 Multicouche, résonant Automne 2003

38 GPA-779 Monocouche, récurrent Automne 2003

39 1.7 Historique McCulloch & Pitts 1943
GPA-779 1.7 Historique McCulloch & Pitts 1943 Modèle simple de neurone biologique. Sortie binaire, poids fixes Réseaux pour simuler opérations logiques de base (ex.: portes ET, OU, OU Exclusif) Donald Hebb (McGill) 1949 Professeur éminent de psychologie Première loi d’apprentissage Rosenblatt 1959 Perceptron Postulat de Hebb (tiré du livre The Organization of Behavior (1949, p. 62): When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic changes take place in one or both cells such that A’s efficiency as one of the cells firing B, is increased Automne 2003

40 Période de grande noirceur Chercheurs actifs : Grossberg ; Fukishawa
GPA-779 Minsky & Papert 1969 Article qui monte les limitations du Perceptron Période de grande noirceur Chercheurs actifs : Grossberg ; Fukishawa Kohonen ; Amari ; Anderson Hopfield 1982 Groupe PDP 1986 Renaissance de l’intérêt Automne 2003

41 Statistique et réseaux de neurones
GPA-779 Statistique et réseaux de neurones Une question de nomenclature? Réseaux de neurones Statistiques Apprentissage Estimation Poids Paramètres Connaissance Valeur des paramètres Apprentissage supervisé Régression / classification Classification Discrimination / classement Apprentissage non-supervisé Estimation de densité / clustering Clustering Classification / taxinomie Réseau de neurones Modèle Grand : poids Grand : 50 paramètres Ensemble d’apprentissage Échantillon Grand : exemples Grand : 200 cas. Automne 2003

42 GPA-779 1.8 Taxonomie La taxonomie consiste à bâtir un arbre de classification des réseaux neuroniques selon le nombre de couches, la méthode de recherche de solution et la règle d’apprentissage Une des toutes premières taxonomies proposée dans la littérature fut l’arbre de classification de Lippmann, en Cet arbre de classification a longtemps été considéré comme un classique dans le domaine. Automne 2003

43 Taxonomie de Lippmann (1987)
GPA-779 Taxonomie de Lippmann (1987) Automne 2003

44 Taxonomie de Jain et al. (1996)
GPA-779 Taxonomie de Jain et al. (1996) Automne 2003

45 Taxonomie générale # couches dynamique apprentis. modèle GPA-779
Automne 2003

46 Taxonomie pour la reconnaissance de formes
GPA-779 Taxonomie pour la reconnaissance de formes Problématique Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions Automne 2003

47 Réseau de neurones d’extraction de primitives
GPA-779 Les réseaux de neurones extracteurs de primitives Réseau de neurones d’extraction de primitives Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

48 Composantes principales
GPA-779 a) Vecteurs propres Composantes principales y . . . . . . y1 . z . . . . . . . . . . . . z . Système de décision . . . . V2 j v u x1 i j V1 x i Espace d’objets Espace des primitives Espace des décisions Automne 2003

49 Extraction des primitives
GPA-779 b) Prototypes Vecteurs prototypes . . P3 . . P1 . . . . . . Extraction des primitives P1, P2, P3 . . . . . d3 d1 . . z d2 . . . . . . P2 Espace d’objets Espace des primitives Espace des décisions Automne 2003

50 c) Primitives visuelles
GPA-779 c) Primitives visuelles Primitives visuelles Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

51 c) Primitives visuelles (suite)
GPA-779 c) Primitives visuelles (suite) Éléments linéaires Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

52 Réseau de neurones classifieur Extraction des primitives
GPA-779 Les réseaux de neurones classifieurs Réseau de neurones classifieur Extraction des primitives Espace d’objets Espace des primitives Espace des décisions Automne 2003

53 Les réseaux de neurones extracteurs/classifieurs
GPA-779 Les réseaux de neurones extracteurs/classifieurs Réseau d’extraction de primitives / classifieurs Extraction des primitives Système de décision Espace d’objets Espace des primitives (d’observations) Espace des décisions Automne 2003

54 Taxonomie pour la reconnaissance de formes
GPA-779 Taxonomie pour la reconnaissance de formes Automne 2003

55 1.9 Simulateurs Approche objet Environnement graphique évolué
GPA-779 1.9 Simulateurs Approche objet Environnement graphique évolué Inspirée de la POO Neurone  objet Attributs Valeur d’activation Valeur de sortie Poids etc. Méthodes Fonctions d’activation, de sortie Apprentissage Automne 2003

56 GPA-779 Approche matricielle Utilisation de logiciels spécialisés en traitement matriciel MATLAB Mathematica couche  vecteur poids  matrice Automne 2003

57 Approche par programmation
GPA-779 Approche par programmation Environnement de simulation Language orienté objet : C++ ou Java Objet informatique : Attributs Méthodes Valentini, G. & Masulli, F. (2002). NEURObjects: an object-oriented library for neural network development. Neurocomputing, 48, Automne 2003

58 GPA-779 YANNS Yet Another Neural Network Simulator Langage de description simple Interface graphique multiplateforme en Java Noyau de simulation et bibliothèque en C++ Boné, R., Crucianu, M., et Asselin de Beauville, J.-P., «Yet Another Neural Network Simulator», dans Proceedings of the NEURal networks and their APplications (NEURAP'98), 1998, Vol., tenue à Marseille, Francep Automne 2003