Chapitre 7 Réseau ART

Plan Compétition de base: Le gagnant emporte tout Modèle générique ART Structure ART1 Améliorations: ART2 ARTMAP

Découverte K. Mehrotra, C.K. Mohan et S. Ranka, Elements of Artificial Neural Networks, MIT Press, 1997. Coup de coeur Traitement complet Algos génériques Exemples nombreux G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992 Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003 J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991 Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron Source d’inspiration pour plusieurs acétates Traitement complet, bien illustré

Vue d’ensemble

7.1 Couche de compétition Gagnant-emporte-tout Modèle de base de plusieurs réseaux non-supervisés

Architecture y1 y2 yM x1 x2 x3 x4

Compétition : soit ym* le neurone avec la sortie maximale Activation Produit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids Compétition : soit ym* le neurone avec la sortie maximale ym* = 1 ym≠m* = 0

Apprentissage Le neurone le plus activé gagne la compétition. Son indice est m*. Sa sortie ym* est placée à 1 Tous les autres neurones ont leur sortie à 0 Renforcement des liens du neurone gagnant

x: vecteur de poids •: vecteur d’entrée a) avant l’apprentissage b) après l’apprentissage x: vecteur de poids •: vecteur d’entrée

Phase de compétition Solution logicielle: Max. (Y)  ym* = 1 ymm* = 0 Solution neuronique: inhibition y1 y2 yM net1 net2 netM

Exercice y1 y2 y3 y4 0,8 0,2 0,4 0,6

7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée

Composantes: Connexions: Couche d’entrée F1 Sous-couche d’entrée F1(a) Sous-couche d’interface F1(b) Couche de classification F2 compétition Mécanisme de comparaison Connexions: Rappel (F1  F2) bji Modèle (F2  F1) tij

Phases d’opération

Caractéristiques Apprentissage non-supervisé Mémoire incrémentale Catégorisation par regroupement de caractéristiques. Apprend les regroupements. Mémoire incrémentale On peut ajouter de nouvelles catégories sans effacer ce qui a été appris. Inspiration biologique Phénomène de base : éveillement Dilemme stabilité  platicité Mémoire incrémentale: le problème avec le réseau à rétropropagation, c’est que lorsque l’apprentissage est terminé, on ne peut plus apporter de modifications aux poids du réseau. Si une nouvelle catégorie ou exemple est soumis au réseau, on doit recommencer avec les nouveaux exemples ET les anciens. Ex.: profils d’avion. Inspiration biologique: La théorie de la résonnance adaptative par Carpenter, Grossberg et l’équipe de l’Université de Boston a été développée durant les années 70, 80 et 90. Le phénomène de base de cette théorie est l’éveillement. Une forme est emmagasinée si elle n’appartient à aucune catégorie  Éveil  Nouveauté  Adaptation. Ce type de réseau répond à une question de survie (ex.: tigre qui bondit).

Structure du ART 1 RAZ F2 Catégories G1 G2 + - + - F1 Caractéristiques j G1 G2 + - + - RAZ F1 Caractéristiques i La couche F1 est aussi appelée la mémoire à court terme du réseau Les connexions W représentent la mémoire à long terme du réseau Les neurones G1 et G2 ont été ajoutés au modèle ART pour la plausibilité biologique: un neurone ne peut avoir un comportement différent dans le temps par lui-même.

Couche F1 : couche de comparaison de F2 tij à RAZ Activité X1i si G1 G1=0 (inhibé)  F2  0 Donc, aussitôt que de l’activité se produit dans F2 G1=1 xi seulement G1=0 F2•xi À cause règle 2/3: G1=1  si=xi•1 G1=0  si=F2•xi xi

Couche F2 : couche des catégories à toutes les unités de F2 - - + - Activité X2j yj G2 de RAZ bji tij de F1 à F1

Fonctionnement Contrôle de gain: G1 et G2 Vigilance Permettent de contrôler le contenu de F1 Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées Vigilance L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1 Si comparaison <  RAZ activé  = facteur d’éveil 0 <  < 1 pour ≈1 X doit égaler exactement F1 retourné par F2

Compétition (couche de compétition F2) y1 y2 yM net1 net2 netM Compétition (couche de compétition F2) Les mêmes connexions se répètent pour toutes les unités Résultat: ym* = 1 pour l’unité la plus activée ymm* = 0 pour toutes les autres unités

Illustration du fonctionnement

Algorithme 0- Initialisation 2 0,9 1/1+I 1 1- Forme Xk présentée à F1 a) X=0  G2=0  F2=0 b) X=S  G2=1 F1(b) contient la forme S (=Xk) Fig. 8.2a 2- S propagé sur F2 Fig. 8.2a

3-. Compétition en F2. Forme résultat Y=yj. (1 neurone activé). Fig. 8 3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b 4- Y projeté sur F1 G1 inhibé F1 contient X•Y projeté = S Fig. 8.2b 5- Appariement 6- RAZ activé Fig. 8.2c Neurone Y désactivé et inhibé yj*= -1  2 7- Renforcir Wf allant à Y 8- Renforcir Wb partant de Y 9- Enlever X G2=0 Ré-activer les neurones inhibés dans F2 (rés. de RAZ) Fig. 8.2d 10- Retour à 1

Exemple - ART1 Pour un facteur de vigilance de l’ordre de 0,9, 2 classes seulement sont formées: le C et le E-F Les poids sont renforcés pour I•Exemple emmagasiné précédent

ART1: convergence et robustesse

Améliorations ART1: Entrées binaires ART2: Entrées analogiques Normalisation + Contraste ARTMAP: ART1s ou ART2s couplés avec apprentissage supervisé ( augmenté pour certains exemples)

ART2

ARTMAP