Introduction

Réseau de neurones artificiel Abstraction du système nerveux central humain Traitement parallèle de l’information Par opposition à un automate sériel comme un ordinateur Capacité d’apprentissage et d’adaptation Principe de traitement très simples et identiques pour tous les éléments Mais comportement de groupe complexe! Applications Résolution de problèmes difficiles Modélisation biologique

Réseau de neurones biologique Quand un pigeon devient expert en art! (Watanabe et al. 1995) Experience : Pigeon dans une boîte de Skinner Exposition aux tableaux de deux artistes (Chagall / Van Gogh) Récompense pour bec à la vue d’un tableau de l’un des artistes (e.g. Van Gogh)

Précision de 85% pour les tableaux non vus auparavant! Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement Précision de 85% pour les tableaux non vus auparavant! Mémoire oui, mais avec… Identification de traits essentiels et/ou généralisation Absence apparente d’un processus réfléchi Force majeure des réseaux de neurones! (artificiels et biologiques)

Niveaux de traitement dans le système nerveux central humain SNC 1m Sous-Systèmes 10cm Régions 1cm Réseaux locaux 1mm Neurones 100mm Synapses 1mm Molécules 0.1mm

Circuits locaux dans le cortex visuel LGN inputs Cell types

Neurone biologique Sortie impulsive : 1 – Le neurone répond 0 – Le neurone ne répond pas (Sans nécessairement être inactif)

Synapse biologique Agent principal du comportement neuronal Connexion typique le long d’un arbre dendritique Force de connexion variable + ou - Plasticité à court terme Utilisation de mécanismes électrochimiques Origine corrélationnelle?

Types de synapses Électrique (rare) 3.5 nm pré-post distance Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels) Courant ionique Propagation instantanée Transmission bidirectionnelle Chimique 20-40 nm pré-post distance Discontinuité cytoplasmique Vésicules présynoptiques et récepteurs postsynaptiques Transmetteur chimique Délai synaptique .3 ms Transmission unidirectionnelle

Synapse dendritique

Neurotransmetteurs Transmitter Channel-typ Ion-current Action Acetylecholin nicotin. Receptor Na+ and K+ excitateur Glutamate AMPA / Kainate Na+ and K+ excitateur GABA GABAA-Receptor Cl- inhibiteur Glycine Cl- inhibiteur Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension bloqué au potentiel de repos

Neurotransmetteurs Plusieurs types Amino Acides : Glutamate, GABA Amines biogéniques : Dopamine, Histamine Neuropeptides … LHRH, Proctolin Endorphines, acetylcholine, etc. NMDA, GABAA sonr frèquents au niveau des récepteurs Certains sont excitateurs et d`autres inhibiteurs

De l’entité biologique au modèle Neurone -> Nœud Synapse -> Arc pondéré

Modélisation simplifiée Entrée Poids synaptiques Sommateur linéaire Fonction d’activation État interne v Sortie y x1 x2 xm w2 wm w1 w0 x0 = +1 Biais Hypothèses : Synapses synchrones Pas de pertes Sortie non impulsive

Fonctions d’activation communes 2017/3/31 Fonctions d’activation communes Simplifications des séquences d’impulsions La fréquence des impulsions remplace l’information individuelle L’information de phase est perdue Plusieurs fonctions existent L’efficacité dépend de l’application Here are some common activation rules that you have probably seen before. Each is used in different contexts. Threshold are the oldest, then there was linear. All of these are still used, and scaled based on individual needs.

Fréquence des impulsions biologiques 2017/3/31 Fréquence des impulsions biologiques This comes from the Hopfield paper that was given out, and is the primary reason that I requested the paper to be given to the class. I like this picture at is shows how the sigmoid is created by adding levels of realism from the original linear function. The graph is a function of the input current to the neuron firing rate. The simplest model says that the more current applied, the faster the neuron fires. When you add in that neurons become saturated and can only fire so fast because of the need to reset the biology, there is a tapering off of at the top of the input current axis. When you add in leakage, there is a deadening at the beginning of the curve that requires a certain current threshold before the neuron will start to fire. But this cutoff is softened when noise is added to the simulation. All of these different curves can be found in neural networks which have different purposes and designs. The point to take away is that different curves work well for different levels of abstraction. La valeur moyenne dépend de plusieurs facteurs Pertes (leakage), saturation, sources de bruit Généralement modelé avec une fonction sigmoïde

Topologies de base Réseau multicouche Réseau récurrent Unités de sortie Unités cachées Unités d’entrée Unités cachées Unités d’entrée/sortie En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie

Taxonomie +BSB, BAM, etc.

Savoir du RNA Réside dans la présence et force de connexions inter-neuronales (synapses) Mais : Différents types de neurones Différents types de topologies de réseaux  Comment trouver les bons poids?

Plasticité synaptique

Spike-timing Dependent Synaptic Plasticity (STDP) La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique. Plus conforme à la règle de Hebb (ajout de la causalité temporelle) Popularité croissante dans les modèles artificiels From Bi and Poo J. Neurosci. 18, 10464 (1998)

Pourquoi aller aussi loin ? Un modèle simple de mémoire associative : On considère/forme un ensemble orthogonal de N vecteurs à mémoriser On définit l’ensemble des N vecteur-réponses désirés   On calcule la matrice La fonction de rappel d’un stimulus quelconque est alors Ça fonctionne, non? Mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?