Mémoires associatives Le modèle BSB/Eidos Mounir Boukadoum

Les mémoires associatives pourquoi ?  La mémoire est le résultat d’un processus récurrent  Le rappel mnémonique associe un stimulus (clé) et une information emmagasinée  Le processus de mémorisation devrait être non supervisé  Les modèles de mémoires auto et hétéro-associatives sont plus plausibles biologiquement  Le premiers modèles remontent à Kohonen et Anderson (197x), et Hopfield (1982) ; les titres de noblesse sont dus à Kosko (1986).

Un exemple : le réseau BSB Règle d’apprentissage : Règle d’apprentissage :  A=  x[n]x t [n]  A=  x[n]x t [n] Fonction de sortie : Fonction de sortie : x[n]=f s ((A+I)x[n-1]) x[n]=f s ((A+I)x[n-1])   Réseau monocouche complètement connecté à apprentissage non-supervisé   Inspiré de l’organisation des cellules pyramidales du cervelet   Utilise la contre-réaction positive pour simuler un circuit réverbérant x1 x1 x2 x2 xn xn

Les vecteurs stimuli x[n] évoluent à l’intérieur d’un hypercube dont les sommets constituent les réponses catégoriques. Les vecteurs stimuli x[n] évoluent à l’intérieur d’un hypercube dont les sommets constituent les réponses catégoriques. Fonction de sortie : Fonction de sortie : ai ai  - -  - - X i =f s (a i )

Règle d’apprentissage du BSB Il s’agit de trouver un sous-ensemble de sommets qui représentent, chacun, un stimulus à apprendre de manière uniqueIl s’agit de trouver un sous-ensemble de sommets qui représentent, chacun, un stimulus à apprendre de manière unique  =1 n=7, A[n]=[0],  =1 Tirer un prototype à apprendre au hasard Déterminer x[n] en calculant la fonction de sortie avec A=A[n-1] Appliquer la règle d’apprentissage pour mettre à jour A A[n]  A[n-1] A=A[n}

Faiblesse du modèle BSB original Partant de A=0, on a :Partant de A=0, on a : si xi[0] est un vecteur propre de A Donc, l’apprentissage du réseau consiste à augmenter λ i de Pb :Pb : λ i croît sans cesse et A ne se stabilisera jamais !

Le réseau neuronal BSB/Eidos  Règle d’apprentissage :  A=  x[n]x t [n] -  x[p]x t [p]  A=  x[n]x t [n] -  x[p]x t [p]ou x1 x1 x2 x2 xn xn P=2, n=10,  = 2, β =   Les i de A se stabilisent à la fin et ses vecteurs propres sont orthogonaux (matrice symétrique)  f(  )  = (  /  ) 2(p-n) -1

Progression de  en fonction du nombre d ’essais d ’apprentisage dans le cas d ’ un prototype unique

Échantillonnage dans une grille de 7x5 des lettres à reconnaître

Indice de proximité (Corrélation) entre les lettres

Détermination de  /  qui minimise la période d’apprentissage (n=5, p=10,  =0.001)Détermination de  /  qui minimise la période d’apprentissage (n=5, p=10,  =0.001)  /  Nombre d’essais Choix des paramètres

Spectre des valeurs propres de A en fonction du nombre d ’essais d ’apprentissage

Temps de rappel pour différents niveaux de bruit

Erreur de rappel pour différents niveaux de bruit

Exemple de rappel (lettre A avec 100% de bruit additif)

Peut-on faire mieux ?

Problèmes avec le modèle BSB Sensible aux changements d’échelleSensible aux changements d’échelle Sensible aux translationsSensible aux translations Sensible aux rotationsSensible aux rotations Limité à la reconnaissance de prototypes binairesLimité à la reconnaissance de prototypes binaires La Solution passe par des matrices de grandes dimensions (12X12 et plus) => Pas pratique pour la reconnaissance en temps réel.