La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 8 Les réseaux de neurones compétitifs. Réseaux de Neurones Application en Reconnaissance de Formes daprès B. Solaiman Dépt. Image & Traitement.

Présentations similaires


Présentation au sujet: "Chapitre 8 Les réseaux de neurones compétitifs. Réseaux de Neurones Application en Reconnaissance de Formes daprès B. Solaiman Dépt. Image & Traitement."— Transcription de la présentation:

1 Chapitre 8 Les réseaux de neurones compétitifs

2 Réseaux de Neurones Application en Reconnaissance de Formes daprès B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne Les réseaux de neurones compétitifs

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 3 Plan 1. Introduction, définition 2. Réseaux compétitifs - Règles et réseaux de base - Règles de Oja et Sanger 3. Réseaux de quantification vectorielle 4. Cartes topologiques de Kohonen

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 4 Découverte n T. Kohonen, Self-Organizing Maps, 2e Edition, Springer, ä Approche pédagogique ä Haute teneur et formalisme mathématique ä Approche vectorielle / matricielle ä Modèles : SOM, famille LVQ ä Chapitre complet dexemples

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Introduction, définition Classification des réseaux de neurones 1 En fonction du mode dapprentissage supervisé / non supervisé 2 En fonction de la fonction réalisée Extraction primitives /Décision /Extraction-Décision 3 En fonction du champs daction en mise à jour Mise à jour globale /Mise à jour sélective 4 En fonction de larchitecture/mode de connexion, etc.

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 6 Problématique de Reconnaissance de Formes 2 Espace d'entrée X Extraction des primitives Espace des primitives Y Système de décision Espace des décisions D

7 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Développement dune solution neuronale 3 Les réseaux de neurones extracteurs de primitives/Classifieurs Réseau dextraction de primitives / classifieurs Extraction des primitives Système de décision Espace dobjets Espace des primitives (dobservations) Espace des décisions

8 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 8 Laboratoire 2: Caractéristiques dune image Extraction des caractéristiques Sous-image pour l apprentissage

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 9 Exemple récent: classification de lots de canneberges Canneberges sèches n Éclairage ambiant n Fond bleu n Segmentation ä Élimination du fond par division ä Filtre median 5x5 ä Seuillage sur la couleur ä Segmentation sur courbure ä Érosion Pré-traitement

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Primitives visuelles ä Entrées: RVB moyen dune canneberge ä Apprentissage: 100 échantillons ä Test: 60 échantillons

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Résultats - fruits secs FruitsFoncésMoyensPâlesTaux (sur 20) Foncés % Moyens % Pâles % Total21 (35.0 %) 18 (30.0%) 21 (35,0 %) 93 %

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau de neurones dextraction de primitives 3 Développement dune solution neuronale 2 Les réseaux de neurones extracteurs de primitives Système de décision Espace dobjets Espace des primitives Espace des décisions

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Neurones pour lesquels les poids synaptiques seront modifiés 1 Introduction Les réseaux de neurones compétitifs L'ajustement des poids synaptiques, suite à la présentation d'une forme, n'est pas automatiquement réalisé pour tous les neurones constituant le réseau. X Neurones pour lesquels les poids synaptiques ne seront pas modifiés

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Introduction Déroulement de lapprentissage 1 Présentation dune forme X 2 Une compétition est organisée. Lobjectif est de déterminer les neurones gagnants. 3 Mise à jours sélectives des poids synaptiques des neurones gagnants. Les réseaux compétitifs Extraction des primitives Apprentissage supervisé ou non supervisé

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Phase de compétition ä Elle peut être logicielle –Une fonction est appliquée au vecteur de sortie du réseau pour identifier le ou les neurone(s) gagnant(s). –Exemple fréquent : y m* = Max (y m ) ä Elle peut être neuronale –Maxnet le gagant emporte tout o Un seul neurone, le plus activé, demeure actif –Chapeau mexicain o Le neurone le plus activé et son entourage demeurent actifs

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # A2A2 A3A3 A1A1 A4A Le réseau Maxnet Fonction dactivation : Étape 0 : Initialiser les activations et les poids Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus dune activation 0 continuer, sinon arrêt

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # A2A2 A3A3 A1A1 A4A Le réseau Maxnet : Exemple Étape 0 : Initialiser les activations et les poids Étape 1 (tant que 4 vrai faire 2-4) : Étape 2 : Mise à jour des activations Étape 3 : Sauvegarder activations Étape 4 : Si plus dune activation 0 continuer, sinon arrêt A = [0,2 0,4 0,6 0,8]

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # X i-3 X i-2 X i-1 XiXi X i+ 1 X i+ 2 X I+ 3 sisi w0w0 w2w2 w2w2 w1w1 w1w1 w3w3 w3w3 Le chapeau mexicain : R2R2 R1R1 w k est positif dans 0 k R 1 et négatif dans R 1 k R 2 x est le vecteur dactivations x_vieux est le vecteurs dactivations à t-1 t_max est le nombre maximal ditérations s est un signal externe

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le chapeau mexicain : X i- 3 X i- 2 X i- 1 XiXi X i+ 1 X i+ 2 X I+ 3 sisi R2R2 R1R1 C2C2 C1C1 Étape 0 : Initialiser t_max, R 1, R 2 et les poids C 1 et C 2 Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieux i = x i ) Étape 2 : Tant que t < t_max faire 3-7 Étape 3 : Calculer la valeur Net

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le chapeau mexicain : X i- 3 X i- 2 X i- 1 XiXi X i+ 1 X i+ 2 X I+ 3 sisi R2R2 R1R1 C2C2 C1C1 Étape 4 : Appliquer la fonction dactivation rampe de 0 à x_max x i = min (x_max, max(0, x i ) Étape 5 : Sauvegarder les activations x i courantes dans x_vieux Étape 6 : Incrémenter le compteur ditérations (t = t + 1) Étape 7 : Tester la condition darrêt Si t < t_max continuer, autrement arrêt

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le chapeau mexicain : Exemple X i- 3 X i- 2 X i- 1 XiXi X i+ 1 X i+ 2 X I Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieux i = x i ) x = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0) x_vieux = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0) Étape 2 : Tant que t < t_max faire 3-7 Étape 3 : Calculer la valeur Net x 1 = 0.6 * (0.0) * (0.5) – 0.4 * (0.8) = -0.2 x 2 = 0.6 * (0.0) * (0.5) * (0.8) – 0.4 * (1.0) = 0.38 x 3 = -0.4 * (0.0) * (0.5) * (0.8) * (1.0) – 0.4 * (0.8) = 1.06 x 4 = -0.4 * (0.5) * (0.8) * (1.0) * (0.8) – 0.4 * (0.5) = 1.16 …… x = ( )

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le chapeau mexicain : Exemple (suite) X i- 3 X i- 2 X i- 1 XiXi X i+ 1 X i+ 2 X I Étape 4 : Appliquer la fonction dactivation x = ( ) x = (0.0, 0.38, 1.06, 1.16 …… ) Continuez … (à partir de létape 3 précédente)

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # A1A1 A2A2 11 Y1Y1 Y2Y2 X1X1 X3X3 X2X2 X4X4 1 b1b1 1 b2b2 w 11 w 21 w 31 w 41 w 12 w 22 w 32 w 42 Le réseau de Hamming - Étape 0 : Initialiser poids w ij et biais b j Étape 1 : Pour chaque x faire 2-4 Étape 2 : Calculer Net pour chaque Y j Étape 3 : Initialiser le Maxnet Étape 4 : Faire converger le Maxnet

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # A1A1 A2A2 11 Y1Y1 Y2Y2 X1X1 X3X3 X2X2 X4X4 1 b1b1 1 b2b2 w 11 w 21 w 31 w 41 w 12 w 22 w 32 w 42 Le réseau de Hamming : exemple - Pour e(1) = (1, -1, -1, -1) e(2) = (-1, -1, -1, 1) et x 1 = (1, 1, -1, -1) x 2 = (1, -1, -1, -1) x 3 = (-1, -1, -1, 1) x 4 = (-1, -1, 1, 1)

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires m x1x1 xnxn xNxN w mn w mN w m1 Couche dentrée Couche de sortie y j =X. m T y1 y1 yM yM Architecture : deux couches

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Neurone m* est le neurone gagnant y m* = y j Un seul neurone gagnant La compétition est à base de projection maximale. Projection maximale Distance euclidienne minimale ? dist(X,W m )=||X-W m || 2 = ||X|| 2 + || W m || X. W m T Equivalence lorsque X et W j sont normalisés Attention

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Donald HEBB : "The Organization of Behavior », 1949 Règle dapprentissage de Hebb Si deux neurones connectés entre eux sont activés au même moment, alors la connexion qui les relie doit être renforcée (i.e. principe de la récompense). Dans le cas contraire, la valeur de la connexion n'est pas modifiée (i.e. principe de la punition). Zones d activités fonctionnelles (circuits neuronals)

28 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Implémentation mathématiques {X k, k = 1, 2, …, K} une base dapprentissage Initialisation aléatoire des poids synaptiques 1 Apprentissage 2 Présentation de la forme X k à la couche dentrée Calcul de lactivation des neurones de la couche de sortie y m (k), m = 1, 2,.. a b Détermination du neurone gagnant m* c Ajustement des poids synaptiques du neurone gagnant : d pour n = 1, …, N

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Explication graphique W1W1 W2W2 WMWM W m* XkXk Neurone gagnant vecteur des poids synaptiques du neurone gagnant W1W1 W2W2 WMWM W m* XkXk Nouveau vecteur des poids synaptiques Compétition Adaptation

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Théorème L e réseau compétitif linéaire associé avec la règle d'apprentissage de Hebb n'a aucun point d'équilibre stable. Théorème L e réseau compétitif linéaire associé avec la règle d'apprentissage de Hebb n'a aucun point d'équilibre stable. Explication mathématique E { W j* } 0 Explication physique Incrémentation sans limite Point déquilibre

31 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Règle dapprentissage dOja {X k, k = 1, 2, …, K} une base dapprentissage Initialisation aléatoire des poids synaptiques 1 Apprentissage 2 Présentation de la forme X k à la couche dentrée Calcul de lactivation des neurones de la couche de sortie y m (k), m = 1, 2,.. a b Détermination du neurone gagnant m* c Ajustement des poids synaptiques du neurone gagnant : d pour n = 1, …, N

32 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Explication m*m* x 1 (k)x n (k)x N (k) W m*n W m*N W m*1 y m* (k) m*m* x 1 (k)x n (k)x N (k) W m*n W m*1 y m* (k) Principe de rétropropagation dans la règle dOja

33 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Théorème L 'algorithme d'apprentissage d'Oja appliqué à un réseau compétitif linéaire, converge en moyenne statistique vers un vecteur * ayant les propriétés suivantes : || *|| = 1. * a la direction du vecteur propre maximal de la matrice de corrélation C. * permet la maximisation de la variance de la sortie. Théorème L 'algorithme d'apprentissage d'Oja appliqué à un réseau compétitif linéaire, converge en moyenne statistique vers un vecteur * ayant les propriétés suivantes : || *|| = 1. * a la direction du vecteur propre maximal de la matrice de corrélation C. * permet la maximisation de la variance de la sortie.

34 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # z = u + v y1y1 2 Problématique de reconnaissance de formes Les primitives : 1 Les vecteurs propres x y i j z z = x 1 + y 1 i j x1x1 v x i j z u V1V1 V2V2 V1V1 V2V2

35 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Règle dapprentissage de Sanger Décomposition sur les composantes principales X = [x 1, ….., x N ] X = x 1 i 1 + x 2 i 2 + …+ x N i N V 1 : 1 ère composante principale V n : n ème composante principale, n=2, 3, …, N X = u 1 V 1 + u 2 V 2 + …+ u N V N X Y = X - u 1 V 1 V 2 : 1 ère composante principale du vecteur Y

36 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux Compétitifs Linéaires Règle de Sanger 1 {X k, k = 1, 2, …, K} une base dapprentissage Application de la règle dOja V 1 2 Transformation de la base dapprentissage : - Calculer la projection de X k sur V 1 ( i.e. calcul de u 1 ) - transformation X k Y k = X k - u 1 V 1, k=1,…, K 3 Application de la règle dOja V 2 4 Répétition …...

37 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de Quantification Vectorielle Fondements : réduction des bases de données X=[x 1,.., x N ] X=[u 1,u 2 ] P=[p 1,.., p N ] CP QV

38 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Problématique de reconnaissance de formes 3 Les vecteurs prototypes z (x,y) z(d1,d2,d3) y x z P1 P2 P d1 z d2 d3 P1 P2 P

39 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Réseau de Kohonen-VQ non supervisé, 1983 m x1x1 xnxn xNxN w mn w mN w m1 Couche dentrée Couche compétitive y m =X. W m T y1 y1 yM yM LVQ : pour n = 1, …, N

40 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Quantification vectorielle non supervisée Quantification vectorielle supervisée

41 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Explication graphique W1W1 W2W2 WMWM W m* XkXk Neurone gagnant vecteur des poids synaptiques du neurone gagnant W1W1 W2W2 WMWM W m* XkXk Nouveau vecteur des poids synaptiques Compétition Adaptation

42 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Il sagit d un apprentissage non supervisé Adaptation des poids plus sévère que celle de Hebb Règle de Hebb Algorithme LVQ Convergence non garantie

43 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Réseaux de Kohonen-VQ supervisés B = {(X k,D k ), k=1, 2,.., K }, base étiquetée 1 2 Architecture : réseaux compétitif linéaire 3 Les neurones de la couche de sortie sont étiquetés

44 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Lalgorithme dapprentissage LVQ1 Retour au principe de Récompense/Punition W1W1 W2W2 WMWM W m* XkXk Récompense Classe(X k ) = Classe (W m* ) Punition Classe(X k ) Classe (W m* ) W1W1 W2W2 WMWM W m* XkXk (j*) = + (t) [X k - W m* ] Si Classe(X k ) = Classe ( W m* ) (j*) = - (t) [X k - W m* ] Si Classe(X k ) Classe ( W m* )

45 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Lalgorithme dapprentissage LVQ2 La course aux performances ……... L'adaptation des vecteurs de référence correspondants W m1 et W m2 est réalisée si et seulement si les trois conditions suivantes sont vérifiées : La compétition fournit deux neurones gagnants : le premier m 1 et le second m 2 gagnants. Lesprit de lalgorithme de Kohonen : Maintenir le principe de Récompense/Punition

46 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Classe(X k ) Classe(W m1 ) erreur de classification du neurone gagnant Classe(X k ) = Classe(W m2 ) bonne classification du second neurone gagnant le vecteur X k est très proche de la surface de séparation entre les classes m 1 et m 2 distance(X k, W m2 ) distance(X k, W m1 ) Adaptation W m1 = - (t) [X k - W m1 ] Punition W m2 = + (t) [X k - W m2 ] Récompense

47 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseaux de quantification vectorielle Surface de séparation Zone de modification Pas de modification Récompense / Punition

48 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen 1 ère constatation Lorganisation linéaire na pour intérêt que laspect pédagogique. 2 ème constatation Les réseaux compétitifs linéaires séloignent de la réalité Neurobiologique « les zones dactivité ».

49 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Architecture proposée : une couche linéaire mono ou multi dimensionnel. m Voisins ordonnés du neurone m i j Un neurone est caractérisé par ses poids synaptiques et par sa position ( notion de voisinage topologique)

50 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Formes de voisinage (2D)

51 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Algorithme dapprentissage non supervisé Etant donnée la base dapprentissage B, on " choisit " 1. la taille de la carte 2. une fonction monotone décroissante 0< (t)<1 : fonction dinfluence temporelle (les modifications diminuent en fonction du temps, Question dâge !!!) 3. un voisinage topologique V(t) décroissant

52 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Parcours de la base d'apprentissage Présentation dune forme dentrée X Détermination du neurone gagnant Adaptation des poids synaptiques des vecteurs de référence se trouvant dans le voisinage topologique V(t) du neurone gagnant : W m = - (m,m*) (t) [X k - W m ] m V m* (t), (m,m*) interaction latérale

53 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Exemple : Neurone gagnant Neurone m V m* (t 0 ) (t) t t0t0 1 Instant : t 0 Vecteur dentrée : X (t 0 ) (m,m*) = 1, m V m* (t) : Interaction latérale uniforme (m,m*) gaussien

54 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Cartes topologiques de Kohonen Caractéristique essentielle des cartes de Kohonen, La préservation topologique : Deux vecteurs « similaires » dans lespace des objets, vont activer deux neurones « topologiquement proches » sur la carte de Kohonen. « distance » « similaire »

55 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications Reconnaissance Optique des Caractères (O.C.R) Compression dimages / codage conjoint Source-Canal

56 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 56

57 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Compression dimages / codage conjoint Source-Canal Méthodes de compression Réversible application médicale taux de compression peu élevé Irréversible taux élevé distorsion introduite Spécifique adaptée à lapplication connaissances a priori sur le contenu Générique transformation + élimination des hautes fréquences Textures mal restituées

58 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Quantification Vectorielle (QV) indices Le plus proche voisin Dictionnaire des mots de code Dictionnaire Image originale Image reconstruite bloc... W W W W Restitution du bloc... W W W W CodeurDécodeur

59 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Avantages / problèmes Le plus proche voisin... Restitution... Adaptation à limage Création des mots de code ? Transmission bruitée Archivage : taux élevé ? Indexation ? Effet de blocs

60 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Création du dictionnaire X = x Poids synaptiques W i (mots de code) Base dapprentissage Activations des neurones

61 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Création du dictionnaire x Représentation graphique du dictionnaire

62 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Dictionnaire obtenu Dictionnaire SOFM Dictionnaire LBG (algorithme classique des K-means)

63 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Exemples dapprentissage Image dapprentissageImage de test

64 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Exemples dapprentissage Dictionnaire Image de test Image testée

65 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Exemples dapprentissage Dictionnaire Image de test Image testée

66 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Exemples dimages comprimées Image originaleImage codée Taux de compression =16 (i.e. taille imagette = 4 x 4, SOFM = 16 x 16 ) ; PSNR = 29,2 dB;

67 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Cartes topologiques de dimensions supérieures SOFM, 2D (exemple, 16 x 16) SOFM, 3D (exemple, 8 x 8 x 8) SOFM, 4D (exemple, 4 x 4 x 4 x 4 ) …….

68 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages SOFM, 3D, 8 x 8 x 8 SOFM, 4D, 4 x 4 x 4 x 4

69 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Codage Conjoint Source/Canal Transmission dimages fixes sur un canal bruité Le dictionnaire bidimensionnel Points de la constellation de la MAQ-64

70 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Exemple de mapping optimal entre une MAQ-64 et un dictionnaire bidimensionnel

71 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Mapping optimal MAQ-64 sur un canal Gaussien PSNR = 27,6 dB; TES = 10% Mapping non optimisé MAQ-64 sur un canal Gaussien PSNR = 19,9 dB; TES = 10%

72 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Dictionnaire non-ordonné (k-means) PSNR = dB Dictionnaire Kohonen PSNR = dB Images échoendoscopiques reconstruites : (taux de compression = 16, taux derreur = 50% )

73 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages Réduction de leffet de bloc par un réseau multicouches Effet de bloc Image comprimée Image étendue Méthode de post-traitement

74 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Compression dimages x1x1 x2x2 xnxn y1y1 ymym Image comprimée, taux=16, PSNR=28.79 dB Image comprimée et post-traitée, PSNR=29.70 dB

75 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Reconnaissance Optique des Caractères (O.C.R) 5, Chiffre « 5 » SOFM (Self Organizing Feature Map) 5 5 Vecteurs prototypes

76 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Entrée du réseau : X = 16 Niveau de gris [0, 25] Normalisation à [0, 1]

77 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Architecture du réseau : X 10 i j Imagette des poids synaptiques du neurone (i,j)

78 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Base dapprentissage : S.R.T.P (France) 5000 Chiffres Poids synaptiques à la convergence : Préservation topologique Transitions « douces »

79 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Exploitation des résultats Classification Base dapprentissage (5000 chiffres) Base de test (5000 chiffres) SOFM* Réseau multicouches 75 % 65 % 96 % 93 % * Les neurones de la carte de Kohonen sont étiquetés

80 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Solution : Hybrid Learning Vector Quantization Objectif : Couplage de la préservation topologique et les performance de lapprentissage supervisé. Réseau HLVQ Architecture : Carte topologique de Kohonen Apprentissage : Hybride Kohonen non supervisé Focalisation dattention

81 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Algorithme dapprentissage du réseau HLVQ Initialisation aléatoire des poids synaptiques Étiquetage initial des neurones de la carte Parcours de la base dapprentissage : Présentation dune forme X à l entrée du réseau Détermination des deux neurones gagnants sur la carte Application de lalgorithme dapprentissage non supervisé de Kohonen Apprentissage supervisé : Focalisation d attention 4 Test fin dapprentissage

82 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Cas 1 : Focalisation dattention = Algorithme LVQ2 a=10 a=20 a=50 Convergence a : Nombre ditérations dapprentissage

83 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Modification de l'algorithme LVQ2: Exploiter la relation topologique reliant les différents neurones de la carte en recherchant dans le voisinage des neurones gagnants ceux qui sont susceptibles d'apporter une meilleure réponse en termes d'activation et de reconnaissance. Cas 2 : Focalisation dattention = Algorithme LVQ2 modifié

84 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Les poids synaptiques du réseau HLVQ

85 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - OCR Classification Base dapprentissage (5000 chiffres) Base de test (5000 chiffres) SOFM Réseau multicouches 75 % 65 % 96 % 93 % HLVQ-LVQ2 97 % 90 % HLVQ-LVQ modifié 96.8 % 89.8 %

86 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Réseau GAL Le réseau GAL (Grow And Learn) est destiné à lextraction de primitives de types formes prototype tout en ayant une architecture multicouches. x1x1 x2x2 xnxn xNxN w e,n AeAe Winner take all Winner take all EeEe t m,e C 1 C m C M Couche dentrée Couche cachée (couche des formes) Couche de sortie (couche des classes )

87 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Réseau GAL Couche des formes mémorisées : n,e est le poids synaptique reliant l'entrée "n" à la cellule "e" Le vecteur e mémorise la forme « X e » E e = 1 si A e = ( A i ) = 0 sinon t em = 1 si le neurone "e" est étiqueté de la classe m, = 0sinon

88 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Réseau GAL L'algorithme d'apprentissage du réseau GAL 1 Une forme X correspondant à la classe m est présentée 2 Vérification de l'existence de la classe : si cette classe n'existe pas : un neurone "m" est créé un neurone "e" est créé si cette classe m existe déjà la forme X est présentée à l'entrée du réseau si la décision prise par le réseau est bonne, alors pas de modification si la décision prise par le réseau est mauvaise, alors un neurone « e » est créé, ses poids seront : W e = X et t me = 1 si m' = m = 0sinon

89 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Applications - Réseau GAL m1m1 m2m2 e 1 (m 1 ) e 1 (m 2 ) m1m1 m2m2 e 1 (m 1 ) e 1 (m 2 ) e 2 (m 1 ) Exemple de la création séquentielle de neurones de formes Apprentissage incrémental …..


Télécharger ppt "Chapitre 8 Les réseaux de neurones compétitifs. Réseaux de Neurones Application en Reconnaissance de Formes daprès B. Solaiman Dépt. Image & Traitement."

Présentations similaires


Annonces Google