Les réseaux de neurones compétitifs

Présentation au sujet: "Les réseaux de neurones compétitifs"— Transcription de la présentation:

1 Les réseaux de neurones compétitifs
Chapitre 8 Les réseaux de neurones compétitifs

2 Réseaux de Neurones Application en Reconnaissance de Formes
Les réseaux de neurones compétitifs d’après B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne

3 Plan 1. Introduction, définition 2. Réseaux compétitifs
- Règles et réseaux de base - Règles de Oja et Sanger 3. Réseaux de quantification vectorielle 4. Cartes topologiques de Kohonen

4 Découverte T. Kohonen, Self-Organizing Maps, 2e Edition, Springer, 1997. Approche pédagogique Haute teneur et formalisme mathématique Approche vectorielle / matricielle Modèles : SOM, famille LVQ Chapitre complet d’exemples

5 Introduction, définition
1 Introduction, définition Classification des réseaux de neurones 1 En fonction du mode d’apprentissage supervisé / non supervisé 2 En fonction de la fonction réalisée Extraction primitives /Décision /Extraction-Décision 3 En fonction du champs d’action en mise à jour Mise à jour globale /Mise à jour sélective 4 En fonction de l’architecture/mode de connexion, etc.

6 Reconnaissance de Formes
Problématique de Reconnaissance de Formes 2 Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions

7 Les réseaux de neurones extracteurs de primitives/Classifieurs
Développement d’une solution neuronale 3 Les réseaux de neurones extracteurs de primitives/Classifieurs 3 Réseau d’extraction de primitives / classifieurs Extraction des primitives Système de décision Espace d’objets Espace des primitives (d’observations) Espace des décisions

8 Laboratoire 2: Caractéristiques d’une image
Extraction des caractéristiques Couche cachée: extraction des primitives visuelles. Chaque neurone de la couche cachée se spécialise pour détecter une arête dans une orientation spécifique. La primitive dominante correspond à une imagette uniforme, c’est-à-dire l’absence d’arêtes. Les arêtes dominantes sont les verticales et les horizontales. Puis les arêtes diagonales. Dessiner au tableau le réseau résultant. 3x3 en entrée, 6 en cachée, 1 neurone arête/non-arête en sortie. Sous-image pour l ’apprentissage

9 Exemple récent: classification de lots de canneberges
Pré-traitement Canneberges sèches Éclairage ambiant Fond bleu Segmentation Élimination du fond par division Filtre median 5x5 Seuillage sur la couleur Segmentation sur courbure Érosion Un exemple récent: classification de canneberges sèches selon la couleur. Dessiner le réseau. 3 entrées R, V, B; 3 neurones cachées et 3 neurones de sortie: pâle, moyen, foncé. Dans cette application, le taux d’anthocyane détermine le prix payé pour un lot. C’est la molécule d’anthocyane qui est responsable de la couleur rouge du fruit. Tout comme par exemple la couleur rouge des feuilles d’automne, dans lesquelles l’anthocyane se développe à l’automne.

10 Primitives visuelles Entrées: RVB moyen d’une canneberge
Apprentissage: 100 échantillons Test: 60 échantillons

11 Résultats - fruits secs
Foncés Moyens Pâles Taux (sur 20) 19 1 95 % 2 17 85 % 20 100 % Total 21 (35.0 %) 18 (30.0%) (35,0 %) 93 %

12 Réseau de neurones d’extraction de primitives
Développement d’une solution neuronale 3 Les réseaux de neurones extracteurs de primitives 2 Réseau de neurones d’extraction de primitives Système de décision Espace d’objets Espace des primitives Espace des décisions

13 synaptiques seront modifiés synaptiques ne seront pas
Introduction 1 Les réseaux de neurones compétitifs L'ajustement des poids synaptiques, suite à la présentation d'une forme, n'est pas automatiquement réalisé pour tous les neurones constituant le réseau. Neurones pour lesquels les poids synaptiques seront modifiés X Neurones pour lesquels les poids synaptiques ne seront pas modifiés

14 Déroulement de l’apprentissage
Introduction 1 Déroulement de l’apprentissage Présentation d’une forme X 1 2 Une compétition est organisée. L’objectif est de déterminer les neurones gagnants. 3 Mise à jours sélectives des poids synaptiques des neurones gagnants. Les réseaux compétitifs Extraction des primitives Apprentissage supervisé ou non supervisé

15 Phase de compétition Elle peut être logicielle
Une fonction est appliquée au vecteur de sortie du réseau pour identifier le ou les neurone(s) gagnant(s). Exemple fréquent : ym* = Max (ym) Elle peut être neuronale Maxnet  le gagant emporte tout Un seul neurone, le plus activé, demeure actif Chapeau mexicain Le neurone le plus activé et son entourage demeurent actifs

16 1 -e -e -e -e -e -e Le réseau Maxnet Fonction d’activation :
Étape 0 : Initialiser les activations et les poids A2 A3 A1 A4 1 -e -e -e -e Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt -e -e

17 A = [0,2 0,4 0,6 0,8] 1 -e -e -e -e -e -e Le réseau Maxnet : Exemple
Étape 0 : Initialiser les activations et les poids A2 A3 A1 A4 1 -e -e -e -e Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt -e -e

18 R1 R2 Le chapeau mexicain : Xi-3 Xi-2 Xi-1 Xi Xi+1 Xi+2 XI+3 si w0 w2
wk est positif dans 0  k  R1 et négatif dans R1  k  R2 x est le vecteur d’activations x_vieux est le vecteurs d’activations à t-1 t_max est le nombre maximal d’itérations s est un signal externe

19 Le chapeau mexicain : si
0.6 -0.4 -0.4 Xi-3 Xi-2 Xi-1 0.6 Xi 0.6 Xi+1 Xi+2 XI+3 si R1 R2 Étape 0 : Initialiser t_max, R1, R2 et les poids C1 et C2 Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieuxi = xi) Étape 2 : Tant que t < t_max faire 3-7 Étape 3 : Calculer la valeur Net

20 Le chapeau mexicain : si
0.6 -0.4 -0.4 Xi-3 Xi-2 Xi-1 0.6 Xi 0.6 Xi+1 Xi+2 XI+3 si R1 R2 Étape 4 : Appliquer la fonction d’activation rampe de 0 à x_max xi = min (x_max, max(0, xi) Étape 5 : Sauvegarder les activations xi courantes dans x_vieux Étape 6 : Incrémenter le compteur d’itérations (t = t + 1) Étape 7 : Tester la condition d’arrêt Si t < t_max continuer, autrement arrêt

21 Le chapeau mexicain : Exemple
0.6 -0.4 x = ( ) Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieuxi = xi) x = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0) x_vieux = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0) Étape 2 : Tant que t < t_max faire 3-7 Étape 3 : Calculer la valeur Net x1 = 0.6 * (0.0) * (0.5) – 0.4 * (0.8) = -0.2 x2 = 0.6 * (0.0) * (0.5) * (0.8) – 0.4 * (1.0) = 0.38 x3 = -0.4 * (0.0) * (0.5) * (0.8) * (1.0) – 0.4 * (0.8) = 1.06 x4 = * (0.5) * (0.8) * (1.0) * (0.8) – 0.4 * (0.5) = 1.16 ……

22 Le chapeau mexicain : Exemple (suite)
0.6 -0.4 x = ( ) Étape 4 : Appliquer la fonction d’activation x = (0.0, 0.38, 1.06, 1.16 …… ) Continuez … (à partir de l’étape 3 précédente)

23 Le réseau de Hamming Étape 0 : Initialiser poids wij et biais bj A1 A2
Y1 Y2 X1 X3 X2 X4 b1 b2 w11 w21 w31 w41 w12 w22 w32 w42 - e Étape 1 : Pour chaque x faire 2-4 Étape 2 : Calculer Net pour chaque Yj Étape 3 : Initialiser le Maxnet Étape 4 : Faire converger le Maxnet

24 Le réseau de Hamming : exemple
1 Y1 Y2 X1 X3 X2 X4 b1 b2 w11 w21 w31 w41 w12 w22 w32 w42 Pour e(1) = (1, -1, -1, -1) e(2) = (-1, -1, -1, 1) et x1 = (1, 1, -1, -1) x2 = (1, -1, -1, -1) x3 = (-1, -1, -1, 1) x4 = (-1, -1, 1, 1) - e

25 Réseaux Compétitifs Linéaires
2 Architecture : deux couches yj=X . mT yM y1 Couche de sortie m wmN wm1 wmn Couche d’entrée x1 xn xN

26 Neurone m* est le neurone gagnant  ym* = yj
Réseaux Compétitifs Linéaires 2 Neurone m* est le neurone gagnant  ym* = yj Un seul neurone gagnant La compétition est à base de projection maximale. Projection maximale  Distance euclidienne minimale ? dist(X,Wm)=||X-Wm||2 = ||X||2 + || Wm ||2 - 2 X . WmT Equivalence lorsque X et Wj sont normalisés Dans le cas normalisé, dist(X,W)=2(1-X•W)= 0 si X=W (angle nul entre les vecteurs) Pour illustrer la différence, tracer au tableau 1 vecteur X, 1 grand vecteur W1 et un vecteur W2 plus petit et aussi plus près de X. La projection indiquerait le vecteur W1 comme le neurone gagnant, même si c’est W2 est le plus près. Référence figure 4.2, p.142 dans le livre. Attention

27 Zones d ’activités fonctionnelles
Réseaux Compétitifs Linéaires 2 Règle d’apprentissage de Hebb Donald HEBB : "The Organization of Behavior », 1949 Si deux neurones connectés entre eux sont activés au même moment, alors la connexion qui les relie doit être renforcée (i.e. principe de la récompense). Dans le cas contraire, la valeur de la connexion n'est pas modifiée (i.e. principe de la punition). Zones d ’activités fonctionnelles (circuits neuronals)

28 {Xk, k = 1, 2, …, K} une base d’apprentissage
Réseaux Compétitifs Linéaires 2 Implémentation mathématiques {Xk, k = 1, 2, …, K} une base d’apprentissage 1 Initialisation aléatoire des poids synaptiques 2 Apprentissage a Présentation de la forme Xk à la couche d’entrée Calcul de l’activation des neurones de la couche de sortie ym(k), m = 1, 2, .. b c Détermination du neurone gagnant m*  Ajustement des poids synaptiques du neurone gagnant : d pour n = 1, …, N

29 synaptiques du neurone gagnant
Réseaux Compétitifs Linéaires 2 Explication graphique W1 W2 WM Wm* Xk Neurone gagnant vecteur des poids synaptiques du neurone gagnant W1 W2 WM D Wm* Xk Nouveau vecteur des poids synaptiques Compétition Adaptation

30 Réseaux Compétitifs Linéaires
2 Théorème  Le réseau compétitif linéaire associé avec la règle d'apprentissage de Hebb n'a aucun point d'équilibre stable. Explication mathématique E {D Wj*}  0 Explication physique Incrémentation sans limite Point d’équilibre

31 Règle d’apprentissage d’Oja
Réseaux Compétitifs Linéaires 2 Règle d’apprentissage d’Oja {Xk, k = 1, 2, …, K} une base d’apprentissage 1 Initialisation aléatoire des poids synaptiques 2 Apprentissage a Présentation de la forme Xk à la couche d’entrée Calcul de l’activation des neurones de la couche de sortie ym(k), m = 1, 2, .. b c Détermination du neurone gagnant m*  Ajustement des poids synaptiques du neurone gagnant : d pour n = 1, …, N

32 Principe de rétropropagation dans
Réseaux Compétitifs Linéaires 2 Explication m* x1(k) xn(k) xN(k) Wm*n Wm*N Wm*1 ym*(k) m* x1(k) xn(k) xN(k) Wm*n Wm*1 ym*(k) Principe de rétropropagation dans la règle d’Oja

33 Théorème 2 Réseaux Compétitifs Linéaires ||  *|| = 1.
L'algorithme d'apprentissage d'Oja appliqué à un réseau compétitif linéaire, converge en moyenne statistique vers un vecteur * ayant les propriétés suivantes : ||  *|| = 1.  * a la direction du vecteur propre maximal de la matrice de corrélation C.  * permet la maximisation de la variance de la sortie.

34 . . Les primitives : Les vecteurs propres 2 1 y z z j j x x i i
Problématique de reconnaissance de formes 2 Les primitives : 1 Les vecteurs propres y . . z z v y1 u V2 j j Les vecteurs propres consistent à trouver un nouveau système de coordonnées qui s’aligne sur les variations les plus accentuées que l’on retrouve dans l’ensemble de données. Les plus fortes variations se retrouvent en calculant la corrélation entre chacune des composantes de toutes les données qui font partie de la base d’apprentissage. Les vecteurs propres, et les valeurs propres associées qui indiquent l’importance des variations, sont trouvés à partir de cette matrice de corrélation. L’analyse par composantes principales consiste à choisir les axes qui expliquent les variations les plus importantes (valeurs propres les plus fortes) et à représenter les données selon ce nouveau référentiel, de beaucoup diminué en général. Par exemple, on peut passer d’un espace à 250 dimensions à un espace à seulement 3 dimensions sans perte considérable d’information. De plus, les données pourront être visualisées dans ce nouvel espace réduit. Un exemple: mesurer la couleur d’une orange. Les données brutes sont représentées par 3 coordonnées, le Rouge, le Vert et le Bleu. Une analyse par composante principale va permettre de calculer un axe principal, orienté selon les différents tons de orange, et on aura plus besoin que d’une seule coordonnée, la nuance de orange, pour décrire la couleur de l’orange. Un autre exemple, pour décrire la couleur rouge d’une pomme, on n’a besoin que d’une seule des couleurs primaires, le Rouge, pour caractériser la couleur de la pomme. V1 x x x1 i i z = x y1 i z = u v j V1 V2

35    2 Règle d’apprentissage de Sanger X  Y = X - u1V1
Réseaux Compétitifs Linéaires 2 Règle d’apprentissage de Sanger  X = [x1, ….., xN] X = x1i1 + x2i2 + …+ xNiN V1 : 1ère composante principale Vn : nème composante principale, n=2, 3, …, N  X = u1V1 + u2V2 + …+ uNVN Décomposition sur les composantes principales X  Y = X - u1V1  V2 : 1ère composante principale du vecteur Y

36 {Xk, k = 1, 2, …, K} une base d’apprentissage
Réseaux Compétitifs Linéaires 2 Règle de Sanger {Xk, k = 1, 2, …, K} une base d’apprentissage Application de la règle d’Oja  V1 1 2 Transformation de la base d’apprentissage : - Calculer la projection de Xksur V1 (i.e. calcul de u1) - transformation XkYk= Xk- u1V1, k=1,…, K Application de la règle d’Oja  V2 3 4 Répétition …...

37 Réseaux de Quantification
Vectorielle 3 Fondements : réduction des bases de données CP QV X=[x1, .., xN] CP: Composantes Principales. Algorithme général de Sanger. QV: Quantification Vectorielle. Identifier des vecteurs prototypes représentatifs des classes, ou nuées, à retrouver. P=[p1, .., pN] X=[u1,u2]

38 Les vecteurs prototypes
. . . . . . . Problématique de reconnaissance de formes 2 3 Les vecteurs prototypes . . y x z P1 P2 P3 . d1 z d2 d3 P1 P2 P3 z (x,y) z (d1,d2,d3)

39 Réseau de Kohonen-VQ non supervisé, 1983
Réseaux de quantification vectorielle 3 Réseau de Kohonen-VQ non supervisé, 1983 ym=X . WmT y1 yM Couche compétitive m wm1 wmn wmN Couche d’entrée x1 xn xN LVQ : pour n = 1, …, N

40 3 Réseaux de quantification vectorielle
Quantification vectorielle non supervisée . . Quantification vectorielle supervisée . .

41 synaptiques du neurone gagnant
Réseaux de quantification vectorielle 3 Explication graphique W1 W2 WM Wm* Xk Neurone gagnant vecteur des poids synaptiques du neurone gagnant D Wm* W2 Xk WM W1 Nouveau vecteur des poids synaptiques Compétition Adaptation

42 3 Réseaux de quantification vectorielle
Il s’agit d ’un apprentissage non supervisé Adaptation des poids plus sévère que celle de Hebb Règle de Hebb Algorithme LVQ Convergence non garantie

43 Réseaux de Kohonen-VQ supervisés
Réseaux de quantification vectorielle 3 Réseaux de Kohonen-VQ supervisés 1 B = {(Xk,Dk), k=1, 2, .., K}, base étiquetée 2 Architecture : réseaux compétitif linéaire 3 Les neurones de la couche de sortie sont étiquetés

44 Classe(Xk) = Classe (Wm*)
Réseaux de quantification vectorielle 3 L’algorithme d’apprentissage LVQ1 Retour au principe de Récompense/Punition D Wm* D Wm* Xk Xk WM WM Wm* Wm* W2 W2 W1 W1 Punition Classe(Xk)  Classe (Wm*) Récompense Classe(Xk) = Classe (Wm*) Dw(j*) = + h(t) [Xk - Wm*] Si Classe(Xk) = Classe (Wm*) Dw(j*) = - h(t) [Xk - Wm*] Si Classe(Xk)  Classe (Wm*)

45 L’algorithme d’apprentissage LVQ2
Réseaux de quantification vectorielle 3 L’algorithme d’apprentissage LVQ2 La course aux performances ……... Maintenir le principe de Récompense/Punition La compétition fournit deux neurones gagnants : le premier m1 et le second m2 gagnants. L’esprit de l’algorithme de Kohonen : L'adaptation des vecteurs de référence correspondants Wm1 et Wm2 est réalisée si et seulement si les trois conditions suivantes sont vérifiées :

46 D Wm1 = - h(t) [Xk - Wm1] Punition
Réseaux de quantification vectorielle 3 1 Classe(Xk)  Classe(Wm1) erreur de classification du neurone gagnant 2 Classe(Xk) = Classe(Wm2) bonne classification du second neurone gagnant 3 distance(Xk, Wm2)  distance(Xk, Wm1) le vecteur Xk est très proche de la surface de séparation entre les classes m1 et m2 Adaptation D Wm1 = - h(t) [Xk - Wm1] Punition D Wm2 = + h(t) [Xk - Wm2] Récompense

47 3 Réseaux de quantification vectorielle Récompense / Punition
Pas de modification Surface de séparation Zone de modification Récompense / Punition

48 Cartes topologiques de
4 Cartes topologiques de Kohonen 1ère constatation L’organisation linéaire n’a pour intérêt que l’aspect pédagogique. 2ème constatation Les réseaux compétitifs linéaires s’éloignent de la réalité Neurobiologique « les zones d’activité ».

49 Architecture proposée :
Cartes topologiques de Kohonen 4 Architecture proposée : une couche linéaire mono ou multi dimensionnel. Voisins ordonnés du neurone m 1 2 3 i 1 2 m 3 j Un neurone est caractérisé par ses poids synaptiques et par sa position ( notion de voisinage topologique)

50 Formes de voisinage (2D)
Cartes topologiques de Kohonen 4 Formes de voisinage (2D)

51 2. une fonction monotone décroissante
Cartes topologiques de Kohonen 4 Algorithme d’apprentissage non supervisé Etant donnée la base d’apprentissage B, on " choisit " 1. la taille de la carte 2. une fonction monotone décroissante 0<h(t)<1 : fonction d’influence temporelle (les modifications diminuent en fonction du temps, Question d’âge !!!) 3. un voisinage topologique V(t) décroissant

52 Parcours de la base d'apprentissage
Cartes topologiques de Kohonen 4 Parcours de la base d'apprentissage 1 Présentation d’une forme d’entrée X 2 Détermination du neurone gagnant 3 Adaptation des poids synaptiques des vecteurs de référence se trouvant dans le voisinage topologique V(t) du neurone gagnant : DWm = - a(m,m*) h(t) [Xk - Wm] m Vm*(t), a(m,m*) interaction latérale

53 Exemple : h(t) t 4 Instant : t0 Vecteur d’entrée : X t0
Cartes topologiques de Kohonen 4 Instant : t0 Exemple : Vecteur d’entrée : X Neurone gagnant Neurone m Vm*(t0) h(t) 1 h(t0) t t0 a(m,m*) = 1,  m Vm*(t) : Interaction latérale uniforme a(m,m*) gaussien

54 4 Cartes topologiques de Kohonen
Caractéristique essentielle des cartes de Kohonen, La préservation topologique : Deux vecteurs « similaires » dans l’espace des objets, vont activer deux neurones « topologiquement proches » sur la carte de Kohonen. « distance » « similaire » « similaire » « similaire » « distance »

55 Applications 5 Compression d’images / codage conjoint Source-Canal
Reconnaissance Optique des Caractères (O.C.R)

56

57 Compression d’images / codage conjoint Source-Canal
Applications - Compression d’images 5 Compression d’images / codage conjoint Source-Canal Méthodes de compression Réversible application médicale taux de compression peu élevé Irréversible taux élevé distorsion introduite Générique transformation + élimination des hautes fréquences Textures mal restituées Spécifique adaptée à l’application connaissances a priori sur le contenu

58 5 Applications - Compression d’images Codeur Décodeur
Quantification Vectorielle (QV) indices bloc . . . Le plus proche voisin Restitution du bloc . . . Image originale Image reconstruite W0 W0 W W1 Dictionnaire des mots de code W2 W2 Dictionnaire ... ... Wn-1 Wn-1 Codeur Décodeur

59 5 Applications - Compression d’images Avantages / problèmes
. . . Le plus proche voisin Restitution . . . Effet de blocs ... ... Adaptation à l’image Création des mots de code ? Transmission bruitée Archivage : taux élevé ? Indexation ?

60 X = 5 Création du dictionnaire Applications - Compression d’images
Activations des neurones Poids synaptiques Wi (mots de code) Base d’apprentissage x X =

61 Représentation graphique
Applications - Compression d’images 5 Création du dictionnaire x Représentation graphique du dictionnaire

62 (algorithme classique des
Applications - Compression d’images 5 Dictionnaire obtenu Dictionnaire SOFM Dictionnaire LBG (algorithme classique des K-means)

63 5 Applications - Compression d’images Exemples d’apprentissage
Image d’apprentissage Image de test

64 5 Applications - Compression d’images Exemples d’apprentissage
Dictionnaire Image testée Image de test

65 5 Applications - Compression d’images Exemples d’apprentissage
Dictionnaire Image testée Image de test

66 Exemples d’images comprimées
Applications - Compression d’images 5 Exemples d’images comprimées Image originale Image codée Taux de compression =16 (i.e. taille imagette = 4 x 4, SOFM = 16 x 16 ); PSNR = 29,2 dB;

67 5 Applications - Compression d’images
Cartes topologiques de dimensions supérieures SOFM, 3D (exemple, 8 x 8 x 8) SOFM, 2D (exemple, 16 x 16) SOFM, 4D (exemple, 4 x 4 x 4 x 4 ) …….

68 5 Applications - Compression d’images SOFM, 3D, 8 x 8 x 8
SOFM, 4D, 4 x 4 x 4 x 4

69 5 Applications - Compression d’images
Codage Conjoint Source/Canal Transmission d’images fixes sur un canal bruité Le dictionnaire bidimensionnel Points de la constellation de la MAQ-64

70 5 Applications - Compression d’images
Exemple de mapping optimal entre une MAQ-64 et un dictionnaire bidimensionnel

71 5 Applications - Compression d’images Mapping optimal
MAQ-64 sur un canal Gaussien PSNR = 27,6 dB; TES = 10% Mapping non optimisé MAQ-64 sur un canal Gaussien PSNR = 19,9 dB; TES = 10%

72 5 Applications - Compression d’images
Images échoendoscopiques reconstruites : (taux de compression = 16, taux d’erreur = 50%) Dictionnaire non-ordonné (k-means) PSNR = dB Dictionnaire Kohonen PSNR = dB

73 Méthode de post-traitement
Applications - Compression d’images 5 Réduction de l’effet de bloc par un réseau multicouches Effet de bloc Image comprimée Image étendue Méthode de post-traitement

74 5 Applications - Compression d’images Image comprimée, Image comprimée
x1 x2 xn y1 ym Image comprimée, taux=16, PSNR=28.79 dB Image comprimée et post-traitée, PSNR=29.70 dB

75 (Self Organizing Feature Map)
Applications - OCR 5 Reconnaissance Optique des Caractères (O.C.R) 5 5 5 5 SOFM (Self Organizing Feature Map) , Chiffre « 5 » Vecteurs prototypes

76 5 Applications - OCR Entrée du réseau : X = Niveau de gris  [0, 25]
16 X = 16 Niveau de gris  [0, 25] Normalisation à [0, 1]

77 synaptiques du neurone
Applications - OCR 5 Architecture du réseau : 10 j 10 i Imagette des poids synaptiques du neurone (i,j) X

78 Base d’apprentissage : S.R.T.P (France)
Applications - OCR 5 Base d’apprentissage : S.R.T.P (France) 5000 Chiffres Poids synaptiques à la convergence : Préservation topologique Transitions « douces »

79 Exploitation des résultats
Applications - OCR 5 Exploitation des résultats Classification Base d’apprentissage (5000 chiffres) Base de test SOFM* Réseau multicouches 75 % 65 % 96 % 93 % * Les neurones de la carte de Kohonen sont étiquetés

80 Objectif : 5 Applications - OCR Solution :
Hybrid Learning Vector Quantization Objectif : Couplage de la préservation topologique et les performance de l’apprentissage supervisé. Architecture : Carte topologique de Kohonen Réseau HLVQ Kohonen non supervisé Apprentissage : Hybride Focalisation d’attention

81 5 1 2 3 4 Applications - OCR Algorithme d’apprentissage du réseau HLVQ
Initialisation aléatoire des poids synaptiques 2 Étiquetage initial des neurones de la carte 3 Parcours de la base d’apprentissage : Présentation d’une forme X à l ’entrée du réseau Détermination des deux neurones gagnants sur la carte Application de l’algorithme d’apprentissage non supervisé de Kohonen Apprentissage supervisé : Focalisation d ’attention 4 Test fin d’apprentissage

82 Cas 1 : Focalisation d’attention = Algorithme LVQ2
Applications - OCR 5 Cas 1 : Focalisation d’attention = Algorithme LVQ2 a=10 a=20 Convergence a=50 a : Nombre d’itérations d’apprentissage

83 Cas 2 : 5 Applications - OCR
Focalisation d’attention = Algorithme LVQ2 modifié Modification de l'algorithme LVQ2:Exploiter la relation topologique reliant les différents neurones de la carte en recherchant dans le voisinage des neurones gagnants ceux qui sont susceptibles d'apporter une meilleure réponse en termes d'activation et de reconnaissance.

84 Applications - OCR 5 Les poids synaptiques du réseau HLVQ

85 5 Classification Applications - OCR 75 % 65 % 96 % 93 % 97 % 90 %
Base d’apprentissage (5000 chiffres) Base de test (5000 chiffres) 75 % 65 % SOFM Réseau multicouches 96 % 93 % 97 % 90 % HLVQ-LVQ2 96.8 % 89.8 % HLVQ-LVQ modifié

86 5 Applications - Réseau GAL Le réseau GAL (Grow And Learn)
est destiné à l’extraction de primitives de types formes prototype tout en ayant une architecture multicouches. x1 C1 x2 we,n Winner take all Ae Ee tm,e xn Cm xN CM Couche cachée (couche des formes) Couche d’entrée Couche de sortie (couche des classes)

87 Couche des formes mémorisées :
Applications - Réseau GAL 5 Couche des formes mémorisées : wn,e est le poids synaptique reliant l'entrée "n" à la cellule "e" Le vecteur we mémorise la forme « Xe » Ee = si Ae = ( Ai ) = 0 sinon tem = 1 si le neurone "e" est étiqueté de la classe m, = 0 sinon

88 5 Applications - Réseau GAL L'algorithme d'apprentissage du réseau GAL
1 Une forme X correspondant à la classe m est présentée 2 Vérification de l'existence de la classe : si cette classe n'existe pas : un neurone "m" est créé un neurone "e" est créé si cette classe “m” existe déjà la forme X est présentée à l'entrée du réseau si la décision prise par le réseau est bonne, alors pas de modification si la décision prise par le réseau est mauvaise, alors un neurone « e » est créé, ses poids seront : We = X et tm’e = 1 si m' = m = 0 sinon

89 Apprentissage incrémental …..
Applications - Réseau GAL 5 m1 m2 e1(m1) e1(m2) e2(m1)   Exemple de la création séquentielle de neurones de formes Apprentissage incrémental …..