Modèle réseau de neurones TODO-> spécifier architecture -> spécifier stimulus Essayer à partir des formules d’apprentissage de faire le lien avec la formule.

Présentation au sujet: "Modèle réseau de neurones TODO-> spécifier architecture -> spécifier stimulus Essayer à partir des formules d’apprentissage de faire le lien avec la formule."— Transcription de la présentation:

1 Modèle réseau de neurones TODO-> spécifier architecture -> spécifier stimulus Essayer à partir des formules d’apprentissage de faire le lien avec la formule Hebb(applicable au cas monocouche) Faire script python avec un cas simple

2 Modèle réseau de neurones Architecture de réseau de neurones perceptron avec «spikes»: tempotron Modèle de neurone: «integrate and fire sans fuite»: V(t)= ∑wi +V_ant avec: i le numéro de la synapse afférente avec: V_ant les contributions des spikes antérieurs Stimulus: «pattern de spikes» -pattern de latence de «spikes» -pattern paires d’événement synchrones-> les neurones couples se déclenchent simultanément

3 Modèle neuronal neurone N afférents Un pattern consiste en N trains de spikes (1 par afférent) Il y a p pattern par classe (+ et -, activation ou désactivation) Mesure utile système charge: α=p/N<3

4 Modèle réseau neurones Règle d’apprentissage: -ex: 2 classes pattern de spikes possibles «+» et «-»: sur «+» déclenchement, sur «-» rien T...... temps Une entrée de la couche in Fenêtre temporelle pattern spike tmax (temps du potentiel max sur fenêtre ) Mis à jour poids: Δwi=λ avec: lambda ->nombre de synapses à mettre à jour Méthode gradient: fonction de coût -Si pas de spike sur «+»: erreur=Vthresh-Vtmax -Si spike sur «-» : erreur=Vtmax-Vthresh Train Pattern Afférents (généré de Façon aléatoire) Erreur=+/-(Vthresh-Vtmax)

5 Méthode apprentissage On a un modèle de neurones «integrate and fire» parfait La dynamique des poids synaptique doit être et rester positive-> les poids doivent être initialisés positifs et la balance des pattern inhibiteurs et excitants doit être dosée

6 Questions Quel est l’intérêt de garder la contribution des spikes après déclenchement? Dans mon cas, on conserve toutes les contributions, cela implique que la fenêtre temporelle où l’on a un spike en sortie sur la neurone excitée n’est plus statique, c.a.d le temps entre deux spikes représente la fenêtre dynamique-> n’a pas l’air de changer le concept d’apprentissage (mis en œuvre fenêtrage avec un compteur modulo ) Ne faut t il pas faire un reset global du circuit pour mettre à zéro le potentiel de la neurone à chaque fenêtre temporelle Règle apprentissage: Δωi=+/- λ (lambda représente la taille maximale de la mise à jour)

7 Stratégie entraînement réseau On se considére dans le cas où on effectue un seuillage sur le caractère «A» bruité On définit une fenêtre temporelle (un certain nombre de cycles d’horloge) Définir seuil déclenchement en fct de la fenêtre temprelle Pour chaque couche Pour chaque neurone hidden: mis au point entraînement pour reconnaître un bout de caractère «A» Il faut donc mettre en place deux classes de pattern: -une indiquant un bout de caractère A -l’autre n’étant pas liée à A

8 Travail à faire Faire règle de Hebb sur un réseau de neurones 1 couche (32*32->1), on essaye de reconnaitre en bout du caractère «A»

9 Schéma global réseau........ N1,1 N1,48 1 Macro cellule rétine = 1024 Pixels image N2,1 N2,64........ Classification de 64 Lettres (à partir de séquences de «features») Generation de séquences features Initialisation des poids par apprentissage avec Une Méthode de Hebb adaptée On spécialise La liaison Rétine->N1 4 types de séquences de spikes pour identifer les «features» (voir slide suivante) ou pas de spike quand ancun « feature» 4 types de «features»

10 Liaison rétine-N1 Il faut définir les caractéristiques des séquences de spike que l’on souhaite en sortie: -trait horizontal (W-E): 1 spike sur la fenêtre temporelle (Δt) -trait vertical (N-S): 2 spike sur Δt -diagonale (SW-NE): 3 spike sur Δt -diagonale (SE-NW): 4 spike sur Δt Pour chaque feature, on va devoir faire devoir faire un apprentissage pour obtenir les séquences ayant les caractéristiques voulues en sortie de N1 Les poids synaptiques des pixels non inclus dans les features seront inhibés

11 Apprentissage entre N1 et N2 N2,n ΔtΔt Séquence « features» Chaque neurone représente Un caractère ΔtΔt Reglage des poids synaptiques en Observant la sortie de N2 à chaque Fenêtre temporelle

12 Vision sur l’utilisation globale du réseau ΔtΔt ΔtΔt N1,1 N1,48 N2,1 N2,64 pattern de spikes liés à un caractère « A» pattern de spikes liés à un caractère « B» PB?: Nécessité de faire un reset global du réseau car le registre potentiel des neurones conserve Une partie de la contribution antérieure