Le chaos pourquoi ? Permet de modéliser un type de mouvement récent qui n’est ni uniforme, ni accéléré. Des dynamiques chaotiques ont été mises en évidence.

Présentation au sujet: "Le chaos pourquoi ? Permet de modéliser un type de mouvement récent qui n’est ni uniforme, ni accéléré. Des dynamiques chaotiques ont été mises en évidence."— Transcription de la présentation:

1 Fonctions de sortie chaotiques et applications à des mémoires associatives récurrentes

2 Le chaos pourquoi ? Permet de modéliser un type de mouvement récent qui n’est ni uniforme, ni accéléré. Des dynamiques chaotiques ont été mises en évidence dans plusieurs fonctions neuro-psycho-physiologiques Les état d’équilibre dans l’espace d’états peuvent être des points, mais aussi des régions (dont des orbites) Peu de modèles neuronaux ont été proposés pour modeler/exploiter le chaos, particulièrement dans les mémoires associatives

3 La carte logistique et max(zn+1) = R / 4
Équation logistique (ou de croissance, ou de Verhulst) : R : paramètre positif allant de 0 à 4 Plus de prédateurs  moins de proies  moins de prédateurs; moins de prédateurs  plus de proies  plus de prédateurs; Carte logistique (ou quadratique) dérivée : Si le domaine et l’image de z sont dans [0, 1], il faut R [0, 4] et max(zn+1) = R / 4

4 États d’équilibre de Un état d’équilibre est atteint lorsque zn+1= zn, ce qui donne les solutions z0 = 0 et z0 =1-R-1. Le Jacobien détermine si l’équilibre est stable : z0 représente un point d’équilibre stable si toute variation future de z sera d’amplitude inférieure à la situation présente ou passée:

5 Attracteurs et repousseurs
z = 0 est un attracteur pour tout point dans son voisinage si R<1, et un repousseur (« repellor ») si R>1 (|J|=|R|) z=1-R-1 est un attracteur pour R>1, mais… xn

6 Carte logistique Et cela ne s’arrête pas là ! Le diagramme de
bifurcation permet de résumer la situation :

7 Utilité pour un RNA Pourrait capturer des équilibres chaotiques !
évolue selon On aimerait plutôt une forme sigmoïdale, avec des points d’équilibre extrêmes à 1 et -1 On pourrait créer des points/régions d’équilibre partout dans l’intervalle xn

8 Carte cubique Obtenue en réécrivant l’équation logistique :
3 points fixes 1, -1, 0, dont deux attracteurs 1, -1. La carte cubique correspondante est : En posant y[t+1] = z[t+1], a[t] = z[t], on obtient : Ajouté 

9 Carte cubique Pour forcer la sortie dans l’intervalle [-1,1], on ajoute une fonction saturante : autrement

10 Points fixes de la carte cubique
La points fixes dépendent de  et des poids synaptiques w. Pour un réseau récurrent unidimensionnel où a[t] = wy[t] : Cas Bipolaire : 1 ou -1 à l’équilibre donne Pour la racine W =1 (les deux autres ne sont pas intéressantes) À l’équilibre :

11 Points fixes de la carte cubique
Cas continu : Donne des poids w qui dépendent de  et de y0 On peut aussi obtenir un comportement chaotique avec des points de bifuracation dépendant de  et y0.

12 Points fixes de la carte cubique
Valeurs de  menant aux états d’equilibre : Exposant de Lyapounov : <0 : y[t+1]/ y[t] diminue avec le temps =0 : le système est dans un état stable >0 : le système est instable ou chaotique Il y a convergence vers des équilibres stables si < ~1.4, en particulier  < 0.5. La convergence se fait vers 1 et -1 pour des entrées bipolaires.

13 Comparaison avec une fonction seuil
(a) (b) Exemple de rappel avec : a) une fonction de sortie à seuil (BAM de Kosko); b) la carte cubique modifiée

14 Application au mémoires associatives
Les mémoires associatives pourquoi ? D’un grand intérêt théorique pour expliquer les capacités d’association du cerveau humain Les modèles recurrents peuvent servir de modèles à la mémoire à court terme Réseaux délaissés à cause des limitations des modèles existants (rappel binaire et problèmes à séparabilité linéaires )

15 Exemple d’application : RDRAM
Réseau bouclé de type Hopfield :

16 Règle d’apprentissage
Le modèle cherche une solution basée sur la contrainte : où f est la carte cubique modifiée. Une règle simple et efficace utilise une approche hebbienne/anti-hebbienne : w est la matrice des poids, x[0] est l’entrée initiale à associer,  est un paramètre d’apprentisasge, et k est le No d’essai d’apprentissage. La règle inclut une contre-réaction non linéaire via y[t] La présence de y[t] dans la boucle force l’utilisation d’un apprentissage en ligne (règle interactive) La matrice des poids converge lorsque x[t]=x[0] Si on analyse la règle en faisant l’hpothèse d’une fonction de sortie linéaire, on constate que l’apprentissage essaye de minimiser le gradient de l’erreur exprimée par

17 Algorithme d’apprentissage
1- Sélection aléatoire d’un patron 2- Calcul de x[t] selon la nouvelle règle de sortie. 3- Mise à jours des poids selon la règle d’apprentissage. 4- Répétition des étapes 1 to 3 jusqu’à la convergence de la matrice des poids.

18 Exemple Ensemble d’apprentissage : 10 exemples de 0, 1, 7
La sortie convergence vers la moyenne arithmétique de la catégorie à chaque fois Entrées

19 Une mémoire hétéro-associative

20 Algorithme d’apprentissage
1- Sélection aléatoire d’une paire (x[0], y[0]) 2- Calcul de x[t] et y[t] selon la nouvelle règle de sortie 3- Mise à jours des poids selon la règle d’apprentissage. 4- Répétition des étapes 1 to 3 jusqu’à la convergence de la matrice des poids

21 Exemple X[0] Y[0] Patrons en noir et blanc à associer

22 Exemple 16x16 8-bit 7x5 1-bit Les associations sont entre des vecteurs à 256 dimensions et 8 tons de gris, et des vecteurs à 35 dimensions et 2 tons de gris.

23 Performance pour des entrées bruitées ou incomplètes
Entrées initiales Sorties finales

24 Une mémoire associative pour séquences temporelles

25 Exemple

26 Mémoire associative séquentielle avec contexte distribué
Fig. 5. Illustration of the one-to-many mapping problem. Fig. 6. Solution of the one-to-many mapping problem

27 Exemple

28 Liens utiles Sylvain Chartier et Boukadoum, 2006-2009
Demos Vidéos en Quicktime et commentaires Simulation de la carte logistique en Flash Flash/Chaos/LogisticMap/LogisticMap.html