Machines à états liquides

Présentation au sujet: "Machines à états liquides"— Transcription de la présentation:

1 Machines à états liquides
Adapté de plusieurs sources sur Internet dont David Norton, Dan Ventura, Alex Klibisz, Benjamin Schrauwen, David Verstraeten, Jan Van Campenhout et Brad Aimone.

2 Le cerveau apprend, l’apprentissage machine entraîne…
Monde extérieur Données d’entraînement Apprentissage machine Brad Aimone SNL 2015 NICE

3 Qu’a le cerveau de spécial ?
Plusieurs choses… Neurones à impulsions Représentations et processus de haut niveau Architecture hiérarchique et récurrente Représentation de l’information creuse (sparse) et répartie … Adaptation en ligne et continue Brad Aimone SNL 2015 NICE

4

5 Le cerveau vu par les neurosciences et l’apprentissage machine
Artificial Neural Nets 1960s-70s 2000s 1940s-50s Modern Machine Learning Deep Learning Random Forest Decision Trees Support Vector Machines Convolutional Neural Nets Reservoir Computing Reinforcement Learning Backpropagation Hebb McCulloch-Pitts Rosenblatt Hopfield Hinton Dan & Poo; Markram (STDP) 1980s-90s Little crosses this line a priori Population coding, synapto- and neurogenesis In vivo representations Hubel Wiesel / O’Keefe SVM - Brad Aimone SNL 2015 NICE

6 Central pattern generator models
Modèles de neurones Abstract Binary neurons Discrete time Perceptron NNs Hopfield network BackProp NNs Kohonen map Real number neurons Discrete time Cont. Time Recur. NN Echo-state network Central pattern generator models Real number neurons Continuous time Spiking neurons (integrate and fire) Liquid-state machine Computational neurosc. models Squid neuron (H.&H.) Biophysical models Realistic

7 Réseaux de neurones à réservoir
Reposent sur un réseau de neurones récurrent (RNR) servant de mémoire et un apprenant sans mémoire Demandent moins de paramètres qu’une architecture neuronale classique (Maass 97) et possèdent des corrélats biologiques Deux types présentement, ESN et LSM : Réseaux à états échoïques (ESN) : utilisent des neurones à codage de fréquence Machines à états liquides (LSM) : utilisent des neurones à impulsions (Maass, 2002)

8 Machine à états liquides
Un réseau récurrent de neurones à impulsions sert de réservoir (liquide) Le nom vient de l’analogie avec un pierre lancée à la surface d’un liquide, où les vagues créées dépendent de la nature du lancer

9 Machine à états liquides
Les entrées sont converties en trains d’impulsions Les trains d’impulsions sont réverbérées dans le liquid de manière non linéaire Les instantanés du liquide donnent ses paramètres, réunis en vecteurs d’états Un fonction de lecture (readout) décode chaque vecteur

10

11 Propriétés des LSMs Imitent des structures cérébrales (cervelet)
Le réservoir est configuré de manière aléatoire et il n’y a pas d’entraînement en principe à ce niveau En pratique, des liquides différents mènent à des performances différentes; il faut trouver le “bon” Quand un réservoir acceptable est trouvé, il s’applique à différents types de problèmes Le réservoir à pour but/effet de séparer les entrées du LSM en classes qui sont représentées par les vecteur d’états Le lecteur identifies les entrées après entraînement avec les paires (classe, état)

12 Problèmes pouvant être résolus
Identification de cadence (frequency recognition) 4 neurones d’entrée 5 classes Identifie différentes combinaisons de neurones d’entrée lents et rapides Reconnaissance des formes 8 neurones d’entrée 4, 8, et12 classes Identifie différents patrons d’impulsions basé sur des gabarits

13 Création du réservoir Trois étapes :
On spécifie une structure de XxYxZ neurones (colonne corticale) On attribue aléatoirement les connections entres neurones et leurs forces On ajuste l’architecture du liquide (typiquement l’étape 2) jusqu'à ce que le liquide puisse effectivement “séparer” On peut voir l’étape 3 précédente comme une tentative d’entraînement par propriété de séparation (au lieu de minimisation d’erreur)

14 Entraînement typique Créer des matrices de poids aléatoires
Exciter le réservoir avec les entrées et enregistrer les vecteurs d’états obtenus Entraîner le lecteur de sortie pour minimiser (Aw-b)2 space A B w time

15 Influence des paramètres
dynamic regime chaos error reservoir size error timescale error Pas important a priori pour le liquide: Topologie du liquide Qui est connecté Distribution des poids

16 Propriété de séparation
Distance inter-classes : Variance intra-classe :

17 Propriété de séparation
Centre de masse d’une classe m : Variance moyenne d’une classe m :

18 Propriéte de séparation

19 Propriété de séparation
Correlation coefficient is