Introduction

Réseau de neurones artificiel? Abstraction du système nerveux humain Traitement parallèle de l’information Par opposition à un automate sériel comme un ordinateur Capacité d’apprentissage et d’adaptation Principe de traitement très simples et identiques pour tous les éléments Mais comportement de groupe complexe! Applications Résolution de problèmes difficiles Modélisation biologique

Réseau de neurones biologique Quand un pigeon devient expert en art! (Watanabe et al. 1995) Experience : Pigeon dans une boîte de Skinner Exposition aux tableaux de deux artistes (Chagall / Van Gogh) Récompense pour bec à la vue d’un tableau de l’un des artistes (e.g. Van Gogh)

Précision de 85% pour les tableaux non vus auparavant! Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement Précision de 85% pour les tableaux non vus auparavant! Mémoire oui, mais aussi Identification de traits essentiels et/ou généralisation Pas d’usage apparent d’un processus réfléchi Force majeure des réseaux de neurones! (artificiels et biologiques)

Les réseaux de neurones artificiels Opèrent par apprentissage et non programmation  Une fois présentés avec des stéréotypes de comportement à apprendre, peuvent généraliser.   Ex: Reconnaître des images partielles après avoir appris des images complètes. Troquent le traitement séquentiel familier pour un traitement parallèle de l’information

Quelques domaines d’application Reconnaissance de formes (ex. : détection de cellules cancéreuses) Régulation de processus industriels (ex. : dosage d’ingrédients) Pilotage automatique de véhicules automobiles Reconnaissance de la voix et de l’écriture manuscrite Interprétation de la parole et du texte écrit Prédiction boursière/environnementale Amélioration des moyens de trucider le voisin!

Catégorisation des domaines Classification Regroupement/Catégorisation Approximation de fonctions Prévision/prédiction Optimisation (plus court chemin, routage, etc.) Mémoires adressables par contenu Automatique

Niveaux de traitement dans le système nerveux central humain SNC 1m Sous-Systèmes 10cm Régions 1cm Réseaux locaux 1mm Neurones 100mm Synapses 1mm Molécules 0.1mm

RNA 101 Un réseau de neurones artificiels (RNA) incorpore Les deux composants fondamentaux d’un rèseau de neurones biologique: Neurones (noeuds) Synapses (poids)

Circuits locaux dans le cortex visuel LGN inputs Cell types

Neurone biologique Sortie impulsive : 1 – Le neurone répond 0 – Le neurone ne répond pas (Sans nécessairement être inactif)

Synapse biologique Agent principal du comportement neuronal Connexion typique le long d’un arbre dendritique Force de connexion variable + ou - Plasticité à court terme Utilisation de mécanismes électrochimiques Origine corrélationnelle?

Types de synapses Électrique (rare) 3.5 nm pré-post distance Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels) Courant ionique Propagation instantanée Transmission bidirectionnelle Chimique 20-40 nm pré-post distance Discontinuité cytoplasmique Vésicules présynoptiques et récepteurs postsynaptiques Transmetteur chimique Délai synaptique .3 ms Transmission unidirectionnelle

Synapse dendritique

Synapse dendritique

Neurotransmetteurs Transmitter Channel-typ Ion-current Action Acetylecholin nicotin. Receptor Na+ and K+ excitateur Glutamate AMPA / Kainate Na+ and K+ excitateur GABA GABAA-Receptor Cl- inhibiteur Glycine Cl- inhibiteur Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension bloqué au potentiel de repos

Synaptic Plasticity

Neurotransmetteurs Plusieurs types Amino Acides : Glutamate, GABA Amines biogéniques : Dopamine, Histamine Neuropeptides … LHRH, Proctolin Endorphines, acetylcholine, etc. NMDA, GABAA sonr frèquents au niveau des récepteurs Certains sont excitateurs et d`autres inhibiteurs

Synapse excitatrice vs. inhibitrice

Exemples de sommations dendritiques

De l’entité biologique au modèle Neurone -> Nœud Synapse -> Arc pondéré

Modélisation simplifiée Entrée Poids synaptiques Sommateur linéaire Fonction d’activation État interne v Sortie y x1 x2 xm w2 wm w1 w0 x0 = +1 Biais Hypothèses : Synapses synchrones Pas de pertes Sortie non impulsive

Fonctions d’activation communes 2017/3/31 Fonctions d’activation communes Simplifications des séquences d’impulsions La fréquence des impulsions remplace l’information individuelle L’information de phase est perdue Plusieurs fonctions existent L’efficacité dépend de l’application Here are some common activation rules that you have probably seen before. Each is used in different contexts. Threshold are the oldest, then there was linear. All of these are still used, and scaled based on individual needs.

Fréquence des impulsions biologiques 2017/3/31 Fréquence des impulsions biologiques This comes from the Hopfield paper that was given out, and is the primary reason that I requested the paper to be given to the class. I like this picture at is shows how the sigmoid is created by adding levels of realism from the original linear function. The graph is a function of the input current to the neuron firing rate. The simplest model says that the more current applied, the faster the neuron fires. When you add in that neurons become saturated and can only fire so fast because of the need to reset the biology, there is a tapering off of at the top of the input current axis. When you add in leakage, there is a deadening at the beginning of the curve that requires a certain current threshold before the neuron will start to fire. But this cutoff is softened when noise is added to the simulation. All of these different curves can be found in neural networks which have different purposes and designs. The point to take away is that different curves work well for different levels of abstraction. La valeur moyenne dépend de plusieurs facteurs Pertes (leakage), saturation, sources de bruit Généralement modelé avec une fonction sigmoïde

savoir du réseau Réside dans la présence et la force des connexions inter-neuronales (synapses), mais : Différents types de neurones Différents types de topologies de réseaux  Comment trouver les bons poids?

Plasticité synaptique

Plasticité synaptique Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post synaptique et l‘entree de calcium à travers des récepteurs specialisés

Plasticité synaptique

Potentiation et dépression à long term (LTP et LTD) Stimulation de 1 s à haute fréquence (100Hz) (montre aussi l.effect de l’endroit de stimulation sur l’arbre dendritique) Stimulation de 15 min à basse fréquence (1 Hz) Modèle simplifié à un produit de sorties dans les RNA Cependant, ne rend pas compte de la causalité temporelle des événements pré et post synaptiques.

Spike-timing Dependent Synaptic Plasticity (STDP) La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique. Plus conforme à la règle de Hebb (ajout de la causalité temporelle) Popularité ascendante dans les modèles artificiels From Bi and Poo J. Neurosci. 18, 10464 (1998)

Topologies de base En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie

Taxonomie +BSB, BAM, etc.

Capacité de classification d’un PMC

Pourquoi aller aussi loin ? Un modèle simple de mémoire associative : On part de/forme un ensemble orthogonal de vecteurs {xi} à mémoriser On définit l’ensemble des vecteur-réponses désirés {yi}  On calcule la matrice La fonction de rappel d’un stimulus quelconque x est alors: Ça fonctionne, non? Oui, mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?