Modèles Impulsionnels de Réseaux de Neurones Biologiques Romain Brette Thèse en neurosciences computationnelles dirigée par Yves Burnod INSERM U483 -type de modèles -> pas nouveau (Lapicque) -intérêt relativement récent -> mal compris (vs. Fréquentiels)

Le neurone Les neurones communiquent par impulsions électriques (potentiels d’action). Pourquoi des modèles impulsionnels ? -impulsions -> dépolarisent le potentiel -> trace bruitée -seuil -transforme trains d’impulsions en train d’impulsion

Modèles impulsionnels Impulsions → impulsions

Modèles impulsionnels Variable continue → impulsions (encodeur)

Formulation générale 1) Une équation différentielle: 2) Un mécanisme de réinitialisation: impulsion quand V > seuil -équa diff = là où est intégrée l’entrée -réinitialisation = produit les impulsions -souvent appelé Intègre-et-Tire (mais ambigu)

Exemples Modèle de Lapicque (1907): -décrit propriétés électriques passives de la membrane en réponse à un courant injecté L. Lapicque, J physiol pathol gen 9, 620-635 (1907)

Exemples Modèle à conductances synaptiques: Propriété fondamentale, la fuite: -beaucoup d’autres variantes -> complique l’étude -J’ai étudié -> partagent une propriété: fuite -conséquences: pas de chaos, accrochage de phase, fiabilité des impulsions R. Brette, J Math Biol (2003). (in press)

Point de vue fréquentiel Information pertinente: la fréquence des impulsions (l’instant précis des impulsions est aléatoire) Modèles fréquentiels: r = f(r1, r2, …, rn) r1 r2 rn -intérêt récent, car traditionnellement… -temps pas pertinent, aléatoire (Poisson) -se traduit par modèles fréquentiels -pertinence des modèles impulsionnels: sens de parler du temps des impulsions ? r

Reproductibilité des impulsions La réponse du neurone à un courant constant n’est pas reproductible -injecté un courant à plusieurs reprises, comparé -1ère impulsion au même moment -puis décalage ; fin = temps différents -logique: variances s’ajoutent -pas reproductible = pt de vue fréquentiel Z. Mainen, T. Sejnowski, Science 268, 1503-1506 (1995)

Reproductibilité des impulsions La réponse du neurone à un courant variable est reproductible -réalisation d’un courant aléatoire -reproductible Z. Mainen, T. Sejnowski, Science 268, 1503-1506 (1995)

Reproductibilité des impulsions Dans les deux cas: le même neurone, le même bruit interne dynamique instable -ce qu’on apprend: 1) bruit faible 2) système stable dynamique stable

Cas des stimulations périodiques instabilité stabilité -pas si simple -3 courants différent que par la moyenne -3e cas: précis, mais plusieurs réponses stables -> état initial -protocole dans les expériences insuffisants -difficile mathématiquement, car applications discontinues -> j’y ai passé du temps / trouver explications théoriques multistabilité R. Brette, J Math Biol (2003). (in press) R. Brette, Set-Valued Analysis 11, 359-371 (2003).

Fiabilité des modèles impulsionnels La réponse des modèles impulsionnels à fuite à un stimulus apériodique est 1) reproductible ; 2) indépendante de l’état initial courant injecté -m’ont permis… -reproductible à long terme -réponse ne dépend pas de l’état initial -légitime l’emploi des modèles impulsionnels R. Brette, E. Guigon, Neural comput 15, 279-308 (2003)

Lien avec la synchronisation Des neurones qui reçoivent le même stimulus dynamique se synchronisent, même s’ils sont au départ dans des états différents.

Spécificité des modèles impulsionnels Deux propriétés spécifiques des modèles impulsionnels: la synchronisation, 2) la détection de coïncidences. 1) dans fréquentiel: instants aléatoires, donc pas de synchronisation 2) dans fréquentiel: somme des fréquences, structure temporelle ignorée

Le perceptron impulsionnel Architecture du perceptron (feedforward) et modèles impulsionnels (au lieu de fréquentiels) -construire un modèle à partir de ces 2 propriétés -entrée: encodeurs impulsionnels -perceptron classique bien connu, celui-là non -montrer son fonctionnement/intérêt dans un cas concret

Sélectivité à l’orientation Dans le cortex visuel primaire (V1), des neurones répondent à des contours ou des barres orientés, avec une orientation et à une position spécifiques. -courbe de sélectivité

Premières étapes du traitement visuel Rétine Thalamus V1 ON OFF contraste local orientation locale -neurones corticaux avec champ orienté, reçoivent de neurones du thalamus avec champ circulaire

Connectivité thalamocorticale: le modèle de Hubel et Wiesel OFF OFF OFF OFF ON ON ON ON ON Thalamus OFF OFF OFF OFF -synapses excitatrices -perceptron + V1 D. Hubel, T. Wiesel, J. physiol. 160, 106-154 (1962).

Trois propriétés essentielles des neurones sélectifs à l’orientation Forte sélectivité à l’orientation (mi-hauteur à mi-largeur < 20°) Invariance au contraste: la largeur (mais pas la hauteur) de la courbe de sélectivité est indépendante du contraste. Suppression: si l’on superpose sur le stimulus optimal un stimulus non-optimal, la réponse du neurone décroît de manière significative.

Le problème de l’iceberg A cause du seuil, la largeur de la courbe de sélectivité augmente avec le contraste. seuil -dur avec Hubel & Wiesel = perceptron -surtout invariance au contraste -somme des fréquences + seuil -ici: courbe de sélectivité = partie au-dessus du seuil

Solutions proposées Interactions corticales1 Inhibition feedforward + bruit cortical (invariance) + dépression synaptique (suppression)2 Courbe de sélectivité = attracteur de la dynamique, dépend peu des entrées. Exp: propriétés de base changent peu quand on supprime les interactions corticales 2) Intéressante mais complexe: 3 mécanismes pour 3 propriétés -Ces solutions sont toutes fréquentielles, i.e., on suppose les décharges du thalamus indépendantes 1 D. Somers, S. Nelson, M. Sur, J neurosci 15, 5448-65 (1995) 2 M. Carandini, D. Heeger, W. Senn, J neurosci 22, 10053-65 (2002)

Perceptron impulsionnel Thalamus Particularité: les entrées thalamiques ne sont pas indépendantes a priori. V1 -Hubel et Wiesel (perceptron) marche pas car: 1) feedforward ; 2) fréquentiel -synchronisation dans le thalamus -perceptron impulsionnel: 5 neurones ON (encodeurs). Synapses excitatrices Expérimentalement: les neurones thalamiques ayant des champs récepteurs proches sont souvent synchronisés. J. Alonso, W. Usrey, R. Reid, Nature 383, 815-9 (1996)

Stimuli Barres orientées en mouvement - en gris: champs récepteurs Barres orientées en mouvement (type micro-saccades ; durée d’une fixation = 40 ms en moyenne)

Stimuli Barres orientées en mouvement (type micro-saccades ; durée d’une fixation = 40 ms en moyenne)

Synchronisation neuronale induite par le stimulus Les neurones reçoivent la même entrée dynamique, ils se synchronisent ; le neurone cortical décharge

Synchronisation neuronale induite par le stimulus Les neurones reçoivent la même entrée dynamique, ils se synchronisent ; le neurone cortical décharge

Synchronisation neuronale induite par le stimulus Les neurones reçoivent une entrée dynamique différente, ils se désynchronisent ; le neurone cortical ne décharge pas

Synchronisation neuronale induite par le stimulus Les neurones reçoivent une entrée dynamique différente, ils se désynchronisent ; le neurone cortical ne décharge pas

Observations principales Les neurones thalamiques se synchronisent spécifiquement à l’orientation optimale, ce qui provoque la réponse du neurone cortical. Cette propriété dépend peu du contraste, car elle est fondée sur l’alignement.

Observations principales Les neurones thalamiques se synchronisent spécifiquement à l’orientation optimale, ce qui provoque la réponse du neurone cortical. Cette propriété dépend peu du contraste, car elle est fondée sur l’alignement.

Invariance au contraste -très sélectif Mi-largeur à mi-hauteur: 10°

Sélectivité de l’entrée peu sélective dépend du contraste irrégulière -avec un perceptron classique dans les mêmes conditions ? -dans perceptron: somme les fréquences, on prend ce qui dépasse du seuil -ici: courbe de la somme i.e. sélectivité du perceptron -grande différence, dû à synchronisation

Suppression -avec un perceptron classique: même décharge La superposition d’une autre barre désynchronise les neurones

Propriétés temporelles du potentiel membranaire Expérimentalement: oscillations  (25-70 Hz) à l’orientation optimale* optimal non-optimal -m’arrêter qq minutes sur une propriété dont les modèles fréquentiels, de fait, ne peuvent rendre compte * M. Volgushev, J. Pernberg, U. Eysel, J physiol 540, 307-20 (2002).

Propriétés temporelles du potentiel membranaire Dans le perceptron impulsionnel: -optimal: entrées synchrones, dont potentiel fluctue plus, dans gamme gamma (fréquence du thalamus) -loin d’optimal: potentiel moins fluctuant

Perceptron classique vs. perceptron impulsionnel Perceptron classique: détecte un motif par produit scalaire X stimulus poids Perceptron impulsionnel: détecte une propriété géométrique du stimulus (invariance par translation dans une direction) -propriété géométrique -> invariance naturelle au contraste

Discussion: source de synchronisation Défaut de la synchronisation induite par le stimulus: la sélectivité dépend du stimulus. Synchronisation interne: interactions latérales rétroaction

Discussion: modèle de neurone cortical In vivo, le neurone cortical est spontanément actif ; état de haute conductance*. => plus grande sensibilité constante de temps plus faible * A. Destexhe, M. Rudolph, D. Pare, Nat rev neurosci 4, 739-51 (Sep, 2003).

Discussion: apprentissage impulsionnel Plasticité Hebbienne impulsionnelle (STDP): un algorithme d’apprentissage compétitif non supervisé. Si une impulsion présynaptique précède une impulsion postsynaptique: potentiation (LTP) Si une impulsion postsynaptique précède une impulsion présynaptique: dépression (LTD) -algorithme directement inspiré de la bio -on a montré que modification de l’efficacité synaptique dépend de… de manière causale -propriétés intéressantes: sélectionne les entrées synchrones ; non supervisé ; régulation de la fréquence du neurone R. Kempter, W. Gerstner, J. L. van Hemmen, Neural comput 13, 2709-41 (Dec, 2001) S. Song, L. Abbot, Neuron 32, 339-350 (2001)

Discussion: calcul impulsionnel dans d’autres modalités L’audition: * localisation de sources sonores1 * perception de la hauteur par autocorrélation2 L’olfaction: codage d’une odeur en un motif spatio-temporel3 Le toucher: codage impulsionnel de la position des objets4 1 L. A. Jeffress, J Comp physiol psychol 41, 35-39 (1948) 2 J. C. R. Licklider, Experientia 7, 128-134 (1951) 3 G. Laurent, Nat rev neurosci 3, 884-95 (2002) 4 M. Szwed, K. Bagdasarian, E. Ahissar, Neuron 40, 621-630 (2003)