Fonctions de sortie chaotiques et applications à des mémoires associatives récurrentes

Le chaos pourquoi ? Permet de modéliser un type de mouvement récent qui n’est ni uniforme, ni accéléré. Des dynamiques chaotiques ont été mises en évidence dans plusieurs fonctions neuro-psycho-physiologiques Les état d’équilibre dans l’espace d’états peuvent être des points, mais aussi des régions (dont des orbites) Peu de modèles neuronaux ont été proposés pour modeler/exploiter le chaos, particulièrement dans les mémoires associatives

La carte logistique et max(zn+1) = R / 4 Équation logistique (ou de croissance, ou de Verhulst) : R : paramètre positif allant de 0 à 4 Plus de prédateurs  moins de proies  moins de prédateurs; moins de prédateurs  plus de proies  plus de prédateurs; Carte logistique (ou quadratique) dérivée : Si le domaine et l’image de z sont dans [0, 1], il faut R [0, 4] et max(zn+1) = R / 4

États d’équilibre de Un état d’équilibre est atteint lorsque zn+1= zn, ce qui donne les solutions z0 = 0 et z0 =1-R-1. Le Jacobien détermine si l’équilibre est stable : z0 représente un point d’équilibre stable si toute variation future de z sera d’amplitude inférieure à la situation présente ou passée:

Attracteurs et repousseurs z = 0 est un attracteur pour tout point dans son voisinage si R<1, et un repousseur (« repellor ») si R>1 (|J|=|R|) z=1-R-1 est un attracteur pour R>1, mais… xn

Carte logistique Et cela ne s’arrête pas là ! Le diagramme de bifurcation permet de résumer la situation :

Utilité pour un RNA Pourrait capturer des équilibres chaotiques ! évolue selon On aimerait plutôt une forme sigmoïdale, avec des points d’équilibre extrêmes à 1 et -1 On pourrait créer des points/régions d’équilibre partout dans l’intervalle xn

Carte cubique Obtenue en réécrivant l’équation logistique : 3 points fixes 1, -1, 0, dont deux attracteurs 1, -1. La carte cubique correspondante est : En posant y[t+1] = z[t+1], a[t] = z[t], on obtient : Ajouté 

Carte cubique Pour forcer la sortie dans l’intervalle [-1,1], on ajoute une fonction saturante : autrement

Points fixes de la carte cubique La points fixes dépendent de  et des poids synaptiques w. Pour un réseau récurrent unidimensionnel où a[t] = wy[t] : Cas Bipolaire : 1 ou -1 à l’équilibre donne Pour la racine W =1 (les deux autres ne sont pas intéressantes) À l’équilibre :

Points fixes de la carte cubique Cas continu : Donne des poids w qui dépendent de  et de y0 On peut aussi obtenir un comportement chaotique avec des points de bifuracation dépendant de  et y0.

Points fixes de la carte cubique Valeurs de  menant aux états d’equilibre : Exposant de Lyapounov : <0 : y[t+1]/ y[t] diminue avec le temps =0 : le système est dans un état stable >0 : le système est instable ou chaotique Il y a convergence vers des équilibres stables si < ~1.4, en particulier  < 0.5. La convergence se fait vers 1 et -1 pour des entrées bipolaires.

Comparaison avec une fonction seuil (a) (b) Exemple de rappel avec : a) une fonction de sortie à seuil (BAM de Kosko); b) la carte cubique modifiée

Application au mémoires associatives Les mémoires associatives pourquoi ? D’un grand intérêt théorique pour expliquer les capacités d’association du cerveau humain Les modèles recurrents peuvent servir de modèles à la mémoire à court terme Réseaux délaissés à cause des limitations des modèles existants (rappel binaire et problèmes à séparabilité linéaires )

Exemple d’application : RDRAM Réseau bouclé de type Hopfield :

Règle d’apprentissage Le modèle cherche une solution basée sur la contrainte : où f est la carte cubique modifiée. Une règle simple et efficace utilise une approche hebbienne/anti-hebbienne : w est la matrice des poids, x[0] est l’entrée initiale à associer,  est un paramètre d’apprentisasge, et k est le No d’essai d’apprentissage. La règle inclut une contre-réaction non linéaire via y[t] La présence de y[t] dans la boucle force l’utilisation d’un apprentissage en ligne (règle interactive) La matrice des poids converge lorsque x[t]=x[0] Si on analyse la règle en faisant l’hpothèse d’une fonction de sortie linéaire, on constate que l’apprentissage essaye de minimiser le gradient de l’erreur exprimée par

Algorithme d’apprentissage 1- Sélection aléatoire d’un patron 2- Calcul de x[t] selon la nouvelle règle de sortie. 3- Mise à jours des poids selon la règle d’apprentissage. 4- Répétition des étapes 1 to 3 jusqu’à la convergence de la matrice des poids.

Exemple Ensemble d’apprentissage : 10 exemples de 0, 1, 7 La sortie convergence vers la moyenne arithmétique de la catégorie à chaque fois Entrées

Une mémoire hétéro-associative

Algorithme d’apprentissage 1- Sélection aléatoire d’une paire (x[0], y[0]) 2- Calcul de x[t] et y[t] selon la nouvelle règle de sortie 3- Mise à jours des poids selon la règle d’apprentissage. 4- Répétition des étapes 1 to 3 jusqu’à la convergence de la matrice des poids

Exemple X[0] Y[0] Patrons en noir et blanc à associer

Exemple 16x16 8-bit 7x5 1-bit Les associations sont entre des vecteurs à 256 dimensions et 8 tons de gris, et des vecteurs à 35 dimensions et 2 tons de gris.

Performance pour des entrées bruitées ou incomplètes Entrées initiales Sorties finales

Une mémoire associative pour séquences temporelles

Exemple

Mémoire associative séquentielle avec contexte distribué Fig. 5. Illustration of the one-to-many mapping problem. Fig. 6. Solution of the one-to-many mapping problem

Exemple

Liens utiles Sylvain Chartier et Boukadoum, 2006-2009 http://www.societyforchaostheory.org http://hypertextbook.com/chaos/ Demos Vidéos en Quicktime et commentaires http://ecommons.library.cornell.edu/handle/1813/97 Simulation de la carte logistique en Flash http://faraday.physics.utoronto.ca/GeneralInterest/Harrison/ Flash/Chaos/LogisticMap/LogisticMap.html