GPA-779 Sleon une édtue de l'Uvinertisé de Cmabrigde, l'odrre des ltteers dnas un mtos n'a pas d'ipmrotncae, la suele coshe ipmrotnate est que la pmeirère et la drenèire soit à la bnnoe pclae. Le rsete peut êrte dnas un dsérorde ttoal et vuos puoevz tujoruos lrie snas porlblème. C'est prace que le creaveu hmauin ne lit pas chuaqe ltetre elle-mmêe, mias le mot cmome un tuot. Illustration de la facilité de traitement par l’approche neuronale comparée à un programme informatique sur un ordinateur qui traite l’information essentiellement de façon séquentielle. Automne 2003

GPA-779 Réseaux de neurones artificiels Chapitre 1 Réseaux de neurones artificiels Automne 2003

Plan 1- Neurone artificiel Modèle Activation Apprentissage Réseaux GPA-779 Plan 1- Neurone artificiel Modèle Activation Apprentissage Réseaux Historique Parallèle avec la statistique Taxonomie Simulateurs Rôle du babillard: Période de durée variable au début de chaque cours réservée pour les étudiants Révision de la matière du cours précédent Questions sur le labo Indications sur le labo de la semaine Questions sur la matière du cours Échange d’infos Automne 2003

GPA-779 Découverte J.M. Zurada, Introduction to Artificial Neural Systems, West Publishing, 1992. Approche ingénierie Orientation pédagogique Livre de référence pour études supérieures (SYS-843 Réseaux de neurones et systèmes flous) S. Thiria, Y. Lechevalier, O. Gascuel et S. Caru (Eds.), Statistiques et méthodes neuronales, Dunod (Paris), 1997. Découvert en France durant le sabbatique (2001-2003) Aspect statistique des réseaux de neurones. Livre de Zurada: obtenu lors de la conférence IJCNN 1992, à Baltimore. Automne 2003

Aperçu des grands domaines d’application des RNAs GPA-779 Aperçu des grands domaines d’application des RNAs On utilise des réseaux de neurones artificiels (RNAs) pour tenter de résoudre des problèmes complexes qui sont plus faciles à résoudre par le cerveau que par un ordinateur Reconnaissance d’un visage familier Système de sonar chez la chauve-souris Conduire sous la pluie Reconnaissance de forme Ref acétate du début du cours Reconnaître un visage familier dans un environnement non-familier Dans une foule, dans diverses conditions et angles d’éclairage, sous un angle d’observation variable, en présence de pénombre, etc. Système de sonar chez la chauve-souris: capable de détecter la distance de la cible, mais aussi sa vitesse relative, sa grosseur, la grosseur de ses composantes principales, son azimuth et son élévation. Les sonars de sous-marins et les radars dopplers sont basés sur le principe des sonars de chauve-souris. Conduire sous la pluie: Zone d’intérêt du système visuel est adaptatif. On ne tient pas compte des essuie-glaces, qui sont pourtant le principal objet d’intérêt, celui auquel on devrait normalement fixer son attention puisqu’il est en mouvement. Reconnaissance de forme: le problème illustré (en pressant sur la flèche) est un problème de perception visuelle qui complète admirablement l’information manquante Automne 2003

Exemple en reconnaissance de forme GPA-779 Exemple en reconnaissance de forme Malgré le fait que l’image ne soit constituée que de taches ± au hasard, notre cerveau perçoit l’organisation spatiale pour en déceler une scène familière. Quelques indices pour déclencher le processus de reconnaissance: présence d’un arbre, sous-sol boisé, tête penchée d’un chien tacheté (dalmatien) Une fois qu’on a fini par décoder la scène, le temps de reconnaissance est par la suite presqu’instantanée. Même plusieurs mois ou années après. Automne 2003

Utilité des réseaux de neurones (1) GPA-779 Utilité des réseaux de neurones (1) Modèles de systèmes nerveux biologiques et de l’intelligence Corps cellule  unité de calcul Axone  signal de sortie impulsions électriques Dendrites  entrées du neurone Synapses  poids d’une entrée impuls.  réaction  impuls. Principaux axes de recherche Biologie: Modélisation de systèmes nerveux L’objectif principal de cet axe de recherche important consiste à bâtir des réseaux de neurones artificiels qui miment le fonctionnement des réseaux neuronaux biologiques. Grâce à ces simulations, on vise une meilleure compréhension du fonctionnement de diverses parties du cerveau. Un exemple de groupe de recherche très actif dans cet axe: Université de Boston, avec entre autre le couple Stephen Grossberg et Gail Carpenter. Automne 2003

Utilité des réseaux de neurones (2) GPA-779 Utilité des réseaux de neurones (2) Processeurs adaptatifs de signal en temps-réel 2- Traitement parallèle ref: Kohonen, SOM, 1997, section 8.6 - The COKOS Chip Coprocesseur sous forme de puce. Implentation matricielle d’un réseau de neurones. Structure SIMD - Single Instruction Multiple Data, appropriée pour RN. Traitement parallèle. Coprocesseur pour réseau topologique SOM de Kohonen. L’équipe a aussi travaillé sur un coprocesseur pour améliorer la vitesse d’un perceptron multicouche. Le processeur COKOS (Speckmann et al., 1994, tiré de Kohonen, SOM, 1997) : 8 unités parallèles de calcul MAB (Memory Arithmetic Board) Fonctions arithmétiques de base, structure SIMD. Mémoire RAM Représentation des données en 16 bits Prise de décision par un réseau Winner-Takes-All Automne 2003

Utilité des réseaux de neurones (3) GPA-779 Utilité des réseaux de neurones (3) Contrôleurs pour des applications de robotique 3- Reconnaissance de formes: unités de commande en robotique Entrée du réseau: images fournies par 2 caméras. Coordonnées 3D de la cible obtenues par stéréoscopie. Réseau: topologique, de type SOM. Représente l’espace de travail du réseau. Chaque neurone représente un voxel (cube) dans l’espace 3D de représentation. Visuomotor Control of Robot Arm (Kohonen, SOM, 1997) : Le vecteur u de données d’entrée est donné par la position de la cible Un réseau de neurone SOM à trois dimensions est l’espace de représentation du bras robot Les coordonnées angulaires des joints du bras sont stockées dans le vecteur q Apprentissage supervisé Automne 2003

Utilité des réseaux de neurones (4) GPA-779 Utilité des réseaux de neurones (4) Analyse et interprétation de données - classification des canneberges 1 -1 40 50 60 tacy Indice canneberge Automne 2003

Utilité des réseaux de neurones (4) GPA-779 Utilité des réseaux de neurones (4) Analyse et interprétation de données Projet CAESAR mené entre 1999 et 2001 aux Etats-Unis, Italie et Pays Bas. Numérisation 3D avec caméras à balayage synchrone laser de 6000 civils dans trois postures bien identifiées. On recherche de nouvelles mesures anthropométriques afin de mieux caractériser la forme du corps humain. Les industries du vêtement et des chapeaux, l’aviation militaire, l’ergonomie sont particulièrement intéressés par cette étude. Les nuages de données 3D ont été analysés statistiquement (Analyse par composantes principales) afin de dégager les principaux axes de variabilité de la forme du corps humain. Il n’est pas surprenant de constater que le principal facteur de forme qui varie d’un être humain à un autre est la hauteur. Ce qui différencie le plus les humains est la hauteur, la grandeur. Le deuxième facteur le plus important de variation est la corpulence, la grosseur. Et le troisième facteur de variation est … la forme de la tête!! C’est un résultat passablement surprenant. Et ce qui est le plus étonnant, c’est de constater de quelle façon la forme de la tête varie. Des données sûrement importantes pour l’industrie du couvre-chef et qui peuvent influencer les façons de designer les chapeaux. hauteur corpulence tête Automne 2003

Architecture de von Neumann (1) GPA-779 Architecture de von Neumann (1) Unité centrale de traitement Instructions et Données Données On essaie d’utiliser une structure inspirée (très imparfaitement) du cerveau avec ses neurones afin de pouvoir résoudre ces divers problèmes. On cherche une alternative à l’approche classique d’exécution séquentielle d’un algorithme (recette). L’ordinateur classique est essentiellement composé de 2 unités: l’UCT et la mémoire. En supplément pour pouvoir communiquer avec l’extérieur, une ou plusieurs unités d’E/S font interface avec l’UCT. Mémoire Automne 2003

Architecture de von Neumann (2) GPA-779 Architecture de von Neumann (2) Cycle d’opération 1. Charger une instruction de la mémoire 2. Charger les données requises par l’instruction 3. Exécuter l’instruction (traiter les données) 4. Emmagasiner les résultats en mémoire 5. Retour à l’étape 1 Utilisation Description d’un problème par un algorithme Traitement de symboles selon des règles Ce type d’architecture se prête particulièrement bien au développement d’algorithmes (recettes) qui seront exécutés selon une séquence bien déterminée, le programme. L’approche symbolique de l’IA utilise cette architecture où l’on désire découvrir la séquence exacte de règles à reproduire pour simuler un comportement intelligent. Automne 2003

Architecture de von Neumann (3) GPA-779 Architecture de von Neumann (3) Caractéristiques des machines de von Neumann La machine doit connaître à l’avance la séquence des opérations à effectuer: c’est le programme Les données sont dans un format connu et précis Dégradation brusque des performances en cas de bris (crash) Correspondance entre les symboles manipulés et le matériel (chaque objet occupe un bloc précis de mémoire) Ces caractéristiques sont tout à fait à l’opposé d’une architecture neuronale. Automne 2003

Difficultés pour les algorithmes de traitement d’image GPA-779 Difficultés pour les algorithmes de traitement d’image Certaines lettres inversées Changement de contexte Quelques exemples où les algorithmes classiques de traitement d’image ont beaucoup de difficultés à extraire l’information, même après entraînement (ou apprentissage): Lettres inversées (en partie) dans un mot. L’humain corrige et perçoit instantanément Une machine peut être programmée pour apprendre à détecter rapidement une famille de symbole, genre le symbole d’une usine comme dans cet exemple. Problème d’interprétation lorsque le symbole change de catégorie. Automne 2003

1.1 Modèle d’un neurone Neurone artificiel GPA-779 1.1 Modèle d’un neurone Neurone artificiel Unité de calcul simple qui essaie de mimer le fonctionnement d’un neurone biologique Ref livre section 1.3 et Notations Automne 2003

GPA-779 Le neurone biologique Inspiration biologique Automne 2003

Modèle électrique de la membrane GPA-779 Modèle électrique de la membrane Na : sodium K : potassium Cl : chlore Batteries : pompes à ions Cm : capacité de la membrane Modèle Shunt (Grossberg) Le potentiel VCl est approximé nul Automne 2003

Modèle d’un neurone artificiel GPA-779 Modèle d’un neurone artificiel Sortie x1 x2 x3 x4 xn xN x5 Entrée Xk Wm 1 Wm 2 Wm 3 Wm 4 Wm 5 Wm n Wm N netm m am (k) F(net,a) = ym = f(a) am  xn = potentiel de la cellule, ou valeur d’activation. f : Binaire ou Signe Linéaire à seuil Sigmoïde Automne 2003

GPA-779 Notation netm valeur d’entrée du neurone m. Généralement 1 site par neurone. ym valeur de sortie du neurone m. Wmn poids de la connexion de la sortie du neurone n au synapse d’entrée du neurone m am activation du neurone m. Aussi appelé potentiel (noté xm) F() fonction d’activation f() fonction de sortie m seuil ou polarisation du neurone m On utilise la notation de seuil dans les TLUs et celle de polarisation dans le perceptron multicouche et le perceptron classique. Attention aux indices de poids! Le premier indice représente le neurone qui reçoit la connexion et le second indique le neurone à l’entrée de la connexion. Cette notation favorise la notation matricielle et vectorielle, comme nous allons le voir par la suite. Automne 2003

1.2 Fonction de site Utilisation d’un seuil ou d’une polarisation j GPA-779 1.2 Fonction de site netm xn m Utilisation d’un seuil ou d’une polarisation j En général, on considère m comme une connexion supplémentaire. m seuil polarisation m Automne 2003

netm : Somme pondérée de toutes les entrées à ce site du neurone GPA-779 netm : Somme pondérée de toutes les entrées à ce site du neurone netm : lorsqu’il y a 1 site sim : lorsqu’il y a plus d’un site par neurone Notion très importante et centrale du produit scalaire entre l’entrée du neurone et son vecteur de poids. Mesure l’écart entre le vecteur de poids et le vecteur d’entrée.  W X Automne 2003

1.3 Fonction d’activation F() GPA-779 1.3 Fonction d’activation F() Linéaire : la plus courante Automne 2003

Shunt: simulation d’une cellule nerveuse GPA-779 Shunt: simulation d’une cellule nerveuse On part de l’équation dynamique d’une cellule nerveuse TABLEAU da = a(n+1) - a(n) a= a(n) A = facteur de décroissance A = 1 pas de contre-réaction A < 1 système du 1er ordre B = valeur max. C = valeur min. E = valeur nette d’excitation (on a 2 sites) I = valeur nette d’inhibition I = -Somme(wij yj) Excitation Inhibition passif Automne 2003

1.4 Fonction de sortie f() Linéaire : ym = am GPA-779 1.4 Fonction de sortie f() Linéaire : ym = am Binaire : souvent avec seuil m Signe : +1 si am positive, -1 sinon Sigmoïde : compression de la plage de sortie, différentiable (pour la rétropropagation d’erreur) Automne 2003

Sigmoïde Le paramètre T commande la pente à l’origine GPA-779 Sigmoïde Le paramètre T commande la pente à l’origine Sortie unipolaire Sortie bipolaire Automne 2003

GPA-779 Résumé Un neurone (ou une couche) est caractérisé principalement (la plupart des modèles) par sa fonction de sortie et par la valeur de son seuil ou polarisation que l’on indique dans le cercle du neurone. On modélise ce paramètre par un lien relié à 1 Automne 2003

  Exemple : Fonctions logiques 1 2 X1 X1 Y Y X2 X2 GPA-779 Automne 2003

GPA-779 Exemple : Fonctions logiques (2) ? X1 Y X2   Automne 2003

GPA-779 Exemple : Fonctions logiques (3)  Automne 2003

1.5 Apprentissage Apprentissage Généralisation GPA-779 1.5 Apprentissage Apprentissage Modification des poids jusqu’à atteindre une sortie «correcte» pour les formes d’entrée du set d’apprentissage Généralisation Capacité du réseau à produire une réponse correcte à une forme non-apprise Automne 2003

Règle d’apprentissage GPA-779 Règle d’apprentissage Fonction de modification des poids avec r : signal d’apprentissage avec  : constante d’apprentissage Catégories d’apprentissage Supervisé présence du tuteur dj Non-supervisé absence de signal-tuteur L’apprentissage est essentiellement une opération de corrélation (ressemblance) entre l’entrée de la connexion et un signal d’apprentissage r qui varie en fonction du modèle d’apprentissage Automne 2003

x1 x2 x3 x4 x5 xn Générateur du xN signal d’apprentissage Entrée X GPA-779 = ai (k) F(net,a) yi f(a) neti j x1 x2 x3 x4 xn xN x5 Sortie yi Wi 1 Wi 2 Wi 3 Wi 4 Wi 5 Wi n Wi N Entrée X Générateur du signal d’apprentissage xn  wi n di r Automne 2003

1.6 Réseaux de neurones Simple couche, par anticipation GPA-779 Automne 2003

Multicouche, en cascade GPA-779 Multicouche, en cascade y1 d1 x1 x2 y2 d2 entrée cachée sortie Automne 2003

Multicouche, en cascade, partiel GPA-779 Multicouche, en cascade, partiel Champ récepteur de i i Automne 2003

GPA-779 Multicouche, résonant Automne 2003

GPA-779 Monocouche, récurrent Automne 2003

1.7 Historique McCulloch & Pitts 1943 GPA-779 1.7 Historique McCulloch & Pitts 1943 Modèle simple de neurone biologique. Sortie binaire, poids fixes Réseaux pour simuler opérations logiques de base (ex.: portes ET, OU, OU Exclusif) Donald Hebb (McGill) 1949 Professeur éminent de psychologie Première loi d’apprentissage Rosenblatt 1959 Perceptron Postulat de Hebb (tiré du livre The Organization of Behavior (1949, p. 62): When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic changes take place in one or both cells such that A’s efficiency as one of the cells firing B, is increased Automne 2003

Période de grande noirceur Chercheurs actifs : Grossberg ; Fukishawa GPA-779 Minsky & Papert 1969 Article qui monte les limitations du Perceptron Période de grande noirceur Chercheurs actifs : Grossberg ; Fukishawa Kohonen ; Amari ; Anderson Hopfield 1982 Groupe PDP 1986 Renaissance de l’intérêt Automne 2003

Statistique et réseaux de neurones GPA-779 Statistique et réseaux de neurones Une question de nomenclature? Réseaux de neurones Statistiques Apprentissage Estimation Poids Paramètres Connaissance Valeur des paramètres Apprentissage supervisé Régression / classification Classification Discrimination / classement Apprentissage non-supervisé Estimation de densité / clustering Clustering Classification / taxinomie Réseau de neurones Modèle Grand : 100 000 poids Grand : 50 paramètres Ensemble d’apprentissage Échantillon Grand : 50 000 exemples Grand : 200 cas. Automne 2003

GPA-779 1.8 Taxonomie La taxonomie consiste à bâtir un arbre de classification des réseaux neuroniques selon le nombre de couches, la méthode de recherche de solution et la règle d’apprentissage Une des toutes premières taxonomies proposée dans la littérature fut l’arbre de classification de Lippmann, en 1987. Cet arbre de classification a longtemps été considéré comme un classique dans le domaine. Automne 2003

Taxonomie de Lippmann (1987) GPA-779 Taxonomie de Lippmann (1987) Automne 2003

Taxonomie de Jain et al. (1996) GPA-779 Taxonomie de Jain et al. (1996) Automne 2003

Taxonomie générale # couches dynamique apprentis. modèle GPA-779 Automne 2003

Taxonomie pour la reconnaissance de formes GPA-779 Taxonomie pour la reconnaissance de formes Problématique Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions Automne 2003

Réseau de neurones d’extraction de primitives GPA-779 Les réseaux de neurones extracteurs de primitives Réseau de neurones d’extraction de primitives Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

Composantes principales GPA-779 a) Vecteurs propres Composantes principales y . . . . . . y1 . z . . . . . . . . . . . . z . Système de décision . . . . V2 j v u x1 i j V1 x i Espace d’objets Espace des primitives Espace des décisions Automne 2003

Extraction des primitives GPA-779 b) Prototypes Vecteurs prototypes . . P3 . . P1 . . . . . . Extraction des primitives P1, P2, P3 . . . . . d3 d1 . . z d2 . . . . . . P2 Espace d’objets Espace des primitives Espace des décisions Automne 2003

c) Primitives visuelles GPA-779 c) Primitives visuelles Primitives visuelles Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

c) Primitives visuelles (suite) GPA-779 c) Primitives visuelles (suite) Éléments linéaires Système de décision Espace d’objets Espace des primitives Espace des décisions Automne 2003

Réseau de neurones classifieur Extraction des primitives GPA-779 Les réseaux de neurones classifieurs Réseau de neurones classifieur Extraction des primitives Espace d’objets Espace des primitives Espace des décisions Automne 2003

Les réseaux de neurones extracteurs/classifieurs GPA-779 Les réseaux de neurones extracteurs/classifieurs Réseau d’extraction de primitives / classifieurs Extraction des primitives Système de décision Espace d’objets Espace des primitives (d’observations) Espace des décisions Automne 2003

Taxonomie pour la reconnaissance de formes GPA-779 Taxonomie pour la reconnaissance de formes Automne 2003

1.9 Simulateurs Approche objet Environnement graphique évolué GPA-779 1.9 Simulateurs Approche objet Environnement graphique évolué Inspirée de la POO Neurone  objet Attributs Valeur d’activation Valeur de sortie Poids etc. Méthodes Fonctions d’activation, de sortie Apprentissage Automne 2003

GPA-779 Approche matricielle Utilisation de logiciels spécialisés en traitement matriciel MATLAB Mathematica couche  vecteur poids  matrice Automne 2003

Approche par programmation GPA-779 Approche par programmation Environnement de simulation Language orienté objet : C++ ou Java Objet informatique : Attributs Méthodes Valentini, G. & Masulli, F. (2002). NEURObjects: an object-oriented library for neural network development. Neurocomputing, 48, 623-646. Automne 2003

GPA-779 YANNS Yet Another Neural Network Simulator http://www-rocq.inria.fr/~crucianu/yanns/ Langage de description simple Interface graphique multiplateforme en Java Noyau de simulation et bibliothèque en C++ Boné, R., Crucianu, M., et Asselin de Beauville, J.-P., «Yet Another Neural Network Simulator», dans Proceedings of the NEURal networks and their APplications (NEURAP'98), 1998, Vol., tenue à Marseille, Francep. 421-424. Automne 2003