Chapitre 7 Réseau ART.

Présentation au sujet: "Chapitre 7 Réseau ART."— Transcription de la présentation:

1 Chapitre 7 Réseau ART

2 Plan Compétition de base: Le gagnant emporte tout Modèle générique ART
Structure ART1 Améliorations: ART2 ARTMAP

3 Découverte K. Mehrotra, C.K. Mohan et S. Ranka, Elements of Artificial Neural Networks, MIT Press, 1997. Coup de coeur Traitement complet Algos génériques Exemples nombreux G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992 Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003 J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991 Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron Source d’inspiration pour plusieurs acétates Traitement complet, bien illustré

4 Vue d’ensemble

5 7.1 Couche de compétition Gagnant-emporte-tout
Modèle de base de plusieurs réseaux non-supervisés

6 Architecture y1 y2 yM x1 x2 x3 x4

7 Compétition : soit ym* le neurone avec la sortie maximale
Activation Produit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids Compétition : soit ym* le neurone avec la sortie maximale ym* = 1 ym≠m* = 0

8 Apprentissage Le neurone le plus activé gagne la compétition. Son indice est m*. Sa sortie ym* est placée à 1 Tous les autres neurones ont leur sortie à 0 Renforcement des liens du neurone gagnant

9 x: vecteur de poids •: vecteur d’entrée
a) avant l’apprentissage b) après l’apprentissage x: vecteur de poids •: vecteur d’entrée

10 Phase de compétition Solution logicielle: Max. (Y)  ym* = 1 ymm* = 0
Solution neuronique: inhibition y1 y2 yM net1 net2 netM

11 Exercice y1 y2 y3 y4 0,8 0,2 0,4 0,6

12 7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée

13 Composantes: Connexions: Couche d’entrée F1
Sous-couche d’entrée F1(a) Sous-couche d’interface F1(b) Couche de classification F2 compétition Mécanisme de comparaison Connexions: Rappel (F1  F2) bji Modèle (F2  F1) tij

14 Phases d’opération

15 Caractéristiques Apprentissage non-supervisé Mémoire incrémentale
Catégorisation par regroupement de caractéristiques. Apprend les regroupements. Mémoire incrémentale On peut ajouter de nouvelles catégories sans effacer ce qui a été appris. Inspiration biologique Phénomène de base : éveillement Dilemme stabilité  platicité Mémoire incrémentale: le problème avec le réseau à rétropropagation, c’est que lorsque l’apprentissage est terminé, on ne peut plus apporter de modifications aux poids du réseau. Si une nouvelle catégorie ou exemple est soumis au réseau, on doit recommencer avec les nouveaux exemples ET les anciens. Ex.: profils d’avion. Inspiration biologique: La théorie de la résonnance adaptative par Carpenter, Grossberg et l’équipe de l’Université de Boston a été développée durant les années 70, 80 et 90. Le phénomène de base de cette théorie est l’éveillement. Une forme est emmagasinée si elle n’appartient à aucune catégorie  Éveil  Nouveauté  Adaptation. Ce type de réseau répond à une question de survie (ex.: tigre qui bondit).

16 Structure du ART 1 RAZ F2 Catégories G1 G2 + - + - F1 Caractéristiques
j G1 G2 + - + - RAZ F1 Caractéristiques i La couche F1 est aussi appelée la mémoire à court terme du réseau Les connexions W représentent la mémoire à long terme du réseau Les neurones G1 et G2 ont été ajoutés au modèle ART pour la plausibilité biologique: un neurone ne peut avoir un comportement différent dans le temps par lui-même.

17 Couche F1 : couche de comparaison
de F2 tij à RAZ Activité X1i si G1 G1=0 (inhibé)  F2  0 Donc, aussitôt que de l’activité se produit dans F2 G1=1 xi seulement G1=0 F2•xi À cause règle 2/3: G1=1  si=xi•1 G1=0  si=F2•xi xi

18 Couche F2 : couche des catégories
à toutes les unités de F2 - - + - Activité X2j yj G2 de RAZ bji tij de F1 à F1

19 Fonctionnement Contrôle de gain: G1 et G2 Vigilance
Permettent de contrôler le contenu de F1 Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées Vigilance L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1 Si comparaison <  RAZ activé  = facteur d’éveil 0 <  < 1 pour ≈1 X doit égaler exactement F1 retourné par F2

20 Compétition (couche de compétition F2)
y1 y2 yM net1 net2 netM Compétition (couche de compétition F2) Les mêmes connexions se répètent pour toutes les unités Résultat: ym* = pour l’unité la plus activée ymm* = 0 pour toutes les autres unités

21 Illustration du fonctionnement

22 Algorithme 0- Initialisation 2 0,9 1/1+I 1 1- Forme Xk présentée à F1
a) X=0  G2=0  F2=0 b) X=S  G2=1 F1(b) contient la forme S (=Xk) Fig. 8.2a 2- S propagé sur F2 Fig. 8.2a

23 3-. Compétition en F2. Forme résultat Y=yj. (1 neurone activé). Fig. 8
3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b 4- Y projeté sur F1 G1 inhibé F1 contient X•Y projeté = S Fig. 8.2b 5- Appariement 6- RAZ activé Fig. 8.2c Neurone Y désactivé et inhibé yj*=  2 7- Renforcir Wf allant à Y 8- Renforcir Wb partant de Y 9- Enlever X G2=0 Ré-activer les neurones inhibés dans F2 (rés. de RAZ) Fig. 8.2d 10- Retour à 1

24 Exemple - ART1 Pour un facteur de vigilance de l’ordre de 0,9, 2 classes seulement sont formées: le C et le E-F Les poids sont renforcés pour I•Exemple emmagasiné précédent

25 ART1: convergence et robustesse

26 Améliorations ART1: Entrées binaires
ART2: Entrées analogiques Normalisation + Contraste ARTMAP: ART1s ou ART2s couplés avec apprentissage supervisé ( augmenté pour certains exemples)

27 ART2

28

29

30 ARTMAP

31