Réseaux de neurones temporels : dynamique et apprentissage Hélène Paugam-Moisy Professeur à l’Université Lyon 2 Institut des Sciences Cognitives hpaugam@isc.cnrs.fr

Les réseaux de neurones naturels

Cerveau, neurones et intelligence Chez les animaux, la place occupée par le cortex semble être proportionnelle au développement des facultés intelligentes. Le cerveau humain est constitué d’environ 1011 neurones ; en moyenne, chaque neurone a de l’ordre de 104 connexions.

Neurones biologiques / naturels Les neurones forment des réseaux de communication complexes, chaque neurone établissant de très nombreuses connexions avec d'autres. vibrisses du rat : neurones sensitifs => thalamus (White et Peters ) neurones thalamiques => cortex

Neurones biologiques / naturels gallerie de photos...

Neurones biologiques / naturels Première schématisation du neurone (Dieters, 1865) Enregistrement d’un neurone vivant : micro-électrode de verre Neuropuce (Infineon) : 16 384 capteurs au mm2 pour enregistrer tout signal électrique émis par un neurone vivant, ici celui d’une “limace de boue” [Lymnaea stagnalis]

Neurones biologiques / naturels Schématiquement, un neurone biologique est constitué d’un arbre dendritique, d’un soma et d’un axone. autre dendrite soma axone dendrites connexion synaptique Un neurone peut émettre des impulsions sur son axone. Elles se propagent vers les dendrites des neurones auxquels il est connecté, qui les transmettent au corps cellulaire (ou soma), via des connexions pondérées par des synapses.

Connexions synaptiques

Connexions synaptiques

Plasticité synaptique Loi de renforcement de Hebb (1949) : Postulat physiologique : “quand un axone de la cellule A est assez proche pour exciter une cellule B et quand, de façon repétée et persistante, il participe à son activation, un certan processus de croissance ou un changement métabolique s’installe, dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualité de cellule qui active B, est augmentée”. En résumé : si deux neurones sont souvent excités simultanément, alors ils augmentent la force (le poids) de leur interconnexion . => c’est le principal fondement des règles d’apprentissage, dans les réseaux de neurones artificiels.

Les réseaux de neurones artificiels

Neurones artificiels Σ Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943). x1 w1 . y = 1 si Σwixi>θ = 0 sinon wi xi Σ θ . sommation, seuillage wn xn Loi du “ tout ou rien ” : le neurone émet ou non une impulsion sur son axone, selon que la somme pondérée de ses entrées dendritiques dépasse ou non son seuil θ.

Réseaux de neurones artificiels Un réseau de neurones artificiels est un ensemble de neurones formels, connectés entre eux selon une certaine architecture / topologie. Les activités se propagent de neurone en neurone selon une certaine dynamique. Les poids des connexions sont modifiés / adaptés par une règle d’apprentissage, à partir d’exemples.

Réseaux de neurones artificiels On peut aussi voir un réseau de neurones artificiels comme un outil de modélisation de type “ boîte noire ” : φ X Y RNA vecteur d’entrée vecteur de sortie Le RNA réalise une association d’un espace d’entrée X vers un espace de sortie Y. La “ fonction ” φ est définie par les poids du réseau. Ceux-ci sont ajustés au problème par une règle d’apprentissage, à partir d’une base d’exemples (xk,tk ) [ apprentissage supervisé, si tk est connu ]

Connexions synaptiques Les poids synaptiques (artificiels) sont des nombres réels. On associe habituellement les poids positifs à des connexions excitatrices et les poids négatifs à des connexions inhibitrices mais... les règles d’apprentissage des modèles connexionnistes classiques peuvent modifier le signe d’un poids synaptique donné, ce qui n’est guère réaliste, sur le plan biologique.

Motivation initiale La motivation initiale n’était pas non plus très biologique : l’idée sous-jacente à la définition du neurone formel était de chercher à montrer que la pensée intelligente résultait du fonctionnement des neurones du cerveau... mais, à l’époque, on pensait que : intelligence raisonnement raisonnement logique logique neurones

Synthèse des fonctions booléennes Ainsi, les premiers travaux de McCulloch et Pitts ont été de réaliser la synthèse des fonctions booléennes élémentaires à partir de réseaux de neurones formels. Parallèlement, les mathématiciens tentaient de démontrer que tout raisonnement pouvait se formaliser par des combinaisons complexes de règles logiques. donc, dans l’esprit des travaux de Turing : grand reséau de neurones raisonnement complexe, intelligent émergence

Modèles connexionnistes “classiques” 1940 } Neurone formel de McCulloch & Pitts notions fondatrices Loi de renforcement de Hebb 1950 Perceptron de Rosenblatt 1960 Adaline de Widrow 1970 1980 Réseau de Hopfield Cartes auto-organisatrices de Kohonen Réseaux MLP Rumelhart et al. 1990 Réseaux RBF Moody & Darken Support Vector Machines Vapnik 2000 20...

Exemple : un réseau MLP X Y Généralisation, calcul du réseau : entrées sorties calculées sorties désirées ym y1 xn x1 x1k y1k t1k X Y ymk tmk xnk erreur neurone sigmoïde Nj : yj = σ ( Σwijxi - θj ) Généralisation, calcul du réseau : présenter les xi aux neurones d’entrée calculer les activités, de couche en couche, jusqu’aux sorties yj Apprentissage, par rétro-propagation [ backprop ] : initialiser les poids wij aléatoirement, sur chaque couche présenter les xik aux neurones d’entrée calculer les activités, de couche en couche, jusqu’aux sorties yjk mesurer l’erreur entre sorties calculées yjk et sorties désirées tjk en sens inverse, calculer les gradients et modifier les poids wij A k

Modèles connexionnistes “classiques” Les réseaux de neurones artificiels sont devenus des outils de modélisation et de calcul destinés aux ingénieurs : Reconnaissance des formes, classification, clustering Prédiction, prévision de séries temporelles Contrôle, identification de systèmes Compression de données Bioinformatique Robotique Des exemples : repérer l’approche d’une tempête identifier de multiples espèces de fleurs reconnaître une voix dans un téléphone mobile distinguer les raisins utilisés pour faire un bon vin diagnostiquer les conditions d’une conduite dangereuse reconnaître le visage de quelqu’un qu’on n’a pas vu récemment

Modèles connexionnistes “classiques” Ces RNA sont, d’ailleurs, des outils très performants : Calculabilité : plus puissants qu’une machine de Turing Complexité : NP-complétude du “ loading problem ” Capacité : MLP et RBF sont approximateurs universels Théorie statistique de l’apprentissage, PAC-learning mais... les méthodes mises en oeuvre pour les améliorer sont de plus en plus souvent des méthodes déjà connues... et surtout... on s’est beaucoup éloigné de l’inspiration biologique !

Les neurones impulsionnels ou “ spiking neurons ”

Les neurones “classiques” neurone à seuil (fx de Heaviside) neurone linéaire (fx identité) neurone sigmoïde (exp ; argth) f = H f = I f = σ y = f ( Σ wixi - θ ) i=1 n calculs basés sur le produit scalaire Dans certains modèles (cartes de Kohonen, réseaux RBF) : y = g (|| x - w ||2) calculs basés sur la distance

Que représente “ xi ” ? xi représente le taux moyen de décharge Les algorithmes des réseaux de neurones classiques sont itératifs. A chaque pas de temps, chaque neurone reçoit n valeurs d’entrée xi et les traîte selon sa propre formule de calcul et en fonction des valeurs de ses poids synaptiques. xi représente le taux moyen de décharge provenant du neurone présynaptique Ni Cette moyenne (fréquence) résulte de plusieurs émissions d’impulsions pendant un intervalle de temps donné, mais on ne connaît pas ces impulsions de manière précise. cependant...

Neurone impulsionnel spiking neuron Les neurobiologistes ont montré que les neurones encodent l’information dans les instants d’émission des impulsions. impulsion = potentiel d’action = spike spiking neuron Pour une modélisation plus réaliste, il faut prendre en compte les aspects temporels et utiliser de nouveaux modèles de neurones : des “ neurones impulsionnels ”.

EPSP = potentiel post-synaptique excitateur Dynamique neuronale Nj N2 N1 uj (t) t1(1) t1(2) t2(1) t2(2) tj (f) neurones pré-synaptiques neurone post-synaptique EPSP = potentiel post-synaptique excitateur tj (f) chaque spike pré-synaptique engendre un EPSP (en rouge) ; ceux-ci s’ajoutent (en bleu) ; quand uj (t) atteint le seuil V le neurone post-synaptique Nj émet à son tour un spike. V u [mV] urepos t1(1) t2(1) t1(2) t2(2) t [ms]

Le modèle de Hodgkin-Huxley Le modèle de neurone de Hodgkin-Huxley (1952) tient compte avec précision des canaux ioniques et du processus électro-chimique, au niveau des connexions synaptiques : C Na K R I (t) courant d’entrée u potentiel de membrane du dt __ C = - Σ Ik (t) + I (t) k potassium sodium 1 R _ Σ Ik = gNam3h(u-ENa) + gKn4(u-EK) + (u-EL) k ... où les variables m, n et h sont elles-mêmes régies par des équations différentielles, en fonction du temps.

Le modèle de Hodgkin-Huxley Ce modèle est capable de rendre compte de la dynamique d’émission d’un spike et de se comporter en neurone à seuil Δu(t) [mV] réponse du neurone à une impulsion, i.e. un courant d’entrée de courte durée I(t) envoyé à t < 0 5 10 15 20 t [ms] mais... le modèle de Hodgkin-Huxley est beaucoup trop complexe pour modéliser des réseaux de neurones temporels !

Le modèle LIF : “Leaky Integrate and Fire” Le modèle “Leaky Integrate and Fire” est une simplification du modèle de Hodgkin-Huxley : C R I (t) courant d’entrée u potentiel de membrane V 1 R _ du dt __ C = - u (t) + I (t) Un spike est émis à chaque fois que le potentiel de membrane croît jusqu’à dépasser le seuil V du neurone. instant d’émission du spike : t(f) tel que u(t(f)) = V avec u’(t(f)) > 0

Le modèle SRM : “Spike Response Model” Le “Spike Response Model” SRM de Gerstner (1995) est une généralisation du LIF, qui intègre le passé du neurone Nj uj (t) = Σ ηj (t-tj(f)) + Σ Σ wijεij (t-ti(f)) + ∫κ(t-tj,s)I(t-s)ds spikes de Ni Ni pré- synap tiques ^ ∞ de Nj courant extérieur seuil, émission somme des PSP EPSP = PSP excitateur poids wij positif IPSP = PSP inhibiteur poids wij négatif instant d’émission du prochain spike : t(f) tel que u(t(f)) = seuil avec u’(t(f)) > 0

Le modèle SRM : “Spike Response Model” Exemple de formule mathématique pour le seuil : ηj (s) = - V exp (- ) H (s-δabs) – K H (s) H (s-δabs) s-δabs τ _____ variations autour du seuil V et modélisation d’une période réfractaire δabs Exemple de formule pour les réponses aux PSP : εij (s) = [exp(- ) – exp(- )] H (s-Δij) s-Δij τs ____ τm où Δij est le délai de propagation le long de l’axone qui va du neurone Ni vers le neurone Nj

Le modèle SRM0 On peut simplifier le modèle SRM, tout en conservant l’essentiel de ses propriétés => on obtient le modèle phénoménologique SRM0 uj (t) = Σ wijε(t-ti-Δij) Ni pré- synap tiques ^ cette formule dérive d’une intégration de la précédente, sur un court intervalle de temps (1ms), en ne mémorisant que l’instant du dernier spike émis par Nj et en faisant l’hypothèse que chaque neurone présynaptique Ni émet au plus une fois à l’instant ti dans l’intervalle de temps. ^

Le modèle SRM0 Exemple de formule pour les réponses aux PSP : s 1 - s EPSP ε(s) = exp ( ) 1 - s τ ____ s __ IPSP où τ est une constante de temps caractéristique du potentiel de membrane (augmentation puis décroissance) instant d’émission d’un spike, par le neurone Nj : ^ tj(f) t tel que uj(t) = θ(t-ti) avec u’j(t) > 0 ce qui donne une fonction non-linéaire de la variable d’état (potentiel de membrane) uj(t) du neurone Nj

Les réseaux de neurones temporels dynamique, puissance de calcul

Les réseaux de neurones temporels Comme pour les neurones classiques, on peut connecter entre eux des neurones temporels selon diverses topologies, simuler leur fonctionnement en réponse à des entrées venant d’un environnement extérieur et récupérer des sorties. SNN = Spiking Neuron Networks cependant : traduction vecteur numérique spikes Une solution, le codage temporel : dans un intervalle de temps fixé, plus le spike est précoce, plus il correspond à une valeur numérique élevée

Dynamique des RNA “classiques” ym y1 xn x1 topologie en couches => dynamique feedforward yn y1 x1 xn topologie bouclée => dynamique récurrente La dynamique dépend directement de la topologie...

Dynamique des RN temporels La topologie est sous-jacente à la dynamique, mais... toutes les connexions ne sont pas actives à chaque instant des patterns d’activité émergent ; ils se modifient au cours du temps => un moyen plus riche de coder l’information Assemblée de neurones : ensemble de neurones qui se synchronisent, en réponse à un stimulus extérieur

Assemblées de neurones un stimulus est appliqué en entrée, entre 1000 et 2000 ms [ Meunier ] Certains neurones accroissent leur activité, d’autres cessent momentanément d’émettre.

Implémentation des RN temporels Toutes les connexions ne sont pas actives à chaque instant il devient maladroit de programmer une boucle de calcul systématique des états de tous les neurones et de toutes les synapses à chaque itération. L’échelle de temps est très différente (~ temps-réel ) il convient d’implémenter ces réseaux par programmation événementielle EDS = Event-Driven Simulation

Nouvelle motivation On a beaucoup progressé sur la compréhension du fonctionnement du cerveau, et l’idée que l’on se fait de l’intelligence a beaucoup évolué en quelques décennies. maintenant, on pense plutôt que : intelligence mémorisation mémorisation associations associations neurones La synchronisation des assemblées de neurones est une piste extrémement prometteuse...

Puissance de calcul Des résultats théoriques* (Maass, 1997) ont montré que les spiking neurons sont plus puissants que les neurones classiques, même avec des modèles simples t t ’ ∞ θj(t-t’) t εij(t-s) s+Δij s u type A modélisation du seuil t εij(t-s) s+Δij s u type B * 1 spiking neuron de type B O(n) neurones sigmoïdes O(n log n) neurones à seuil fonctions de réponse aux PSP

Puissance de calcul Réseaux de neurones de 3ème génération : spiking neurons 1995 intégration d’informations en continu Réseaux de neurones de 2ème génération : neurones sigmoïdes, neurones distance 1985 entrées et sorties réelles Réseaux de neurones de 1ère génération : neurones à seuil, à saturation 1945 entrées et sorties booléennes

Apprentissage et plasticité

Apprentissage dans les SNN Les réseaux de neurones temporels, ou SNN (réseaux de spiking neurons) modélisent beaucoup mieux que leurs ancêtres la dynamique des interactions entre neurones. mais : comment réalise-t-on l’apprentissage des poids dans les réseaux de neurones temporels ? devrait-on aussi apprendre les délais ? de nombreux problèmes ouverts

Apprentissage dans les SNN Plusieurs chercheurs ont démontré [ Maass, 1997 ; Bohte, 2002 ; Ruf & Schmitt, 2000 ] que l’on pouvait émuler les principaux modèles classiques (réseau de Hopfield, réseau MLP, cartes de Kohonen) avec des réseaux de neurones impulsionnels mais : la simple reproduction des modèles de 2nde génération ne permet pas d’exploiter la pleine puissance de ces modèles de 3ème génération que sont les SNN. on pourrait aussi chercher une inspiration biologique ?

Plasticité synaptique Les neurobiologistes ont observé des potentiations synaptiques quand un neurone pré-synaptique émet juste avant un neurone post-synaptique et des dépressions synaptiques quand un neurone pré-synaptique émet juste après un neurone post-synaptique pré post wij pré post wij Ce phénomène de plasticité synaptique est connu sous le nom de STDP = Spike-Time-Dependent Plasticity

modification des poids Mécanismes STDP modification des poids en fonction de Δt = tpost - tpré poids excitateurs, w > 0 poids inhibiteurs, w < 0

Difficultés, avec la STDP Les poids synaptiques sont constamment modifiés => inconvénients de l’apprentissage “on-line” : manque de stabilité oubli du passé lointain On retrouve le classique dilemme plasticité / stabilité mis en évidence par Grossberg [ fin des années 80 ] il faudrait combiner la STDP avec une autre méthode d’apprentissage

Algorithmes évolutionnistes Une autre piste consiste à utiliser des algorithmes génétiques pour optimiser les valeurs des poids synaptiques en adaptant le réseau à son milieu. génération 1 sélection croisement mutation et ainsi de suite ... génération 2 Les individus sont des réseaux de neurones temporels génération N

Algorithmes évolutionnistes et STDP SNN plongé dans un zoo virtuel les poids ne cessent d’evoluer

Conclusion

Les réseaux de neurones temporels sont : des modèles proches du biologique des outils de calcul très puissants mais... on maîtrise encore mal leur fonctionnement, en particulier au niveau de l’apprentissage