Machines à états liquides Adapté de plusieurs sources sur Internet dont David Norton, Dan Ventura, Alex Klibisz, Benjamin Schrauwen, David Verstraeten, Jan Van Campenhout et Brad Aimone.

Le cerveau apprend, l’apprentissage machine entraîne… Monde extérieur Données d’entraînement Apprentissage machine Brad Aimone SNL 2015 NICE

Qu’a le cerveau de spécial ? Plusieurs choses… Neurones à impulsions Représentations et processus de haut niveau Architecture hiérarchique et récurrente Représentation de l’information creuse (sparse) et répartie … Adaptation en ligne et continue Brad Aimone SNL 2015 NICE

Le cerveau vu par les neurosciences et l’apprentissage machine Artificial Neural Nets 1960s-70s 2000s 1940s-50s Modern Machine Learning Deep Learning Random Forest Decision Trees Support Vector Machines Convolutional Neural Nets Reservoir Computing Reinforcement Learning Backpropagation Hebb McCulloch-Pitts Rosenblatt Hopfield Hinton Dan & Poo; Markram (STDP) 1980s-90s Little crosses this line a priori Population coding, synapto- and neurogenesis In vivo representations Hubel Wiesel / O’Keefe SVM - Brad Aimone SNL 2015 NICE

Central pattern generator models Modèles de neurones Abstract Binary neurons Discrete time Perceptron NNs Hopfield network BackProp NNs Kohonen map Real number neurons Discrete time Cont. Time Recur. NN Echo-state network Central pattern generator models Real number neurons Continuous time Spiking neurons (integrate and fire) Liquid-state machine Computational neurosc. models Squid neuron (H.&H.) Biophysical models Realistic

Réseaux de neurones à réservoir Reposent sur un réseau de neurones récurrent (RNR) servant de mémoire et un apprenant sans mémoire Demandent moins de paramètres qu’une architecture neuronale classique (Maass 97) et possèdent des corrélats biologiques Deux types présentement, ESN et LSM : Réseaux à états échoïques (ESN) : utilisent des neurones à codage de fréquence Machines à états liquides (LSM) : utilisent des neurones à impulsions (Maass, 2002)

Machine à états liquides Un réseau récurrent de neurones à impulsions sert de réservoir (liquide) Le nom vient de l’analogie avec un pierre lancée à la surface d’un liquide, où les vagues créées dépendent de la nature du lancer

Machine à états liquides Les entrées sont converties en trains d’impulsions Les trains d’impulsions sont réverbérées dans le liquid de manière non linéaire Les instantanés du liquide donnent ses paramètres, réunis en vecteurs d’états Un fonction de lecture (readout) décode chaque vecteur

Propriétés des LSMs Imitent des structures cérébrales (cervelet) Le réservoir est configuré de manière aléatoire et il n’y a pas d’entraînement en principe à ce niveau En pratique, des liquides différents mènent à des performances différentes; il faut trouver le “bon” Quand un réservoir acceptable est trouvé, il s’applique à différents types de problèmes Le réservoir à pour but/effet de séparer les entrées du LSM en classes qui sont représentées par les vecteur d’états Le lecteur identifies les entrées après entraînement avec les paires (classe, état)

Problèmes pouvant être résolus Identification de cadence (frequency recognition) 4 neurones d’entrée 5 classes Identifie différentes combinaisons de neurones d’entrée lents et rapides Reconnaissance des formes 8 neurones d’entrée 4, 8, et12 classes Identifie différents patrons d’impulsions basé sur des gabarits

Création du réservoir Trois étapes : On spécifie une structure de XxYxZ neurones (colonne corticale) On attribue aléatoirement les connections entres neurones et leurs forces On ajuste l’architecture du liquide (typiquement l’étape 2) jusqu'à ce que le liquide puisse effectivement “séparer” On peut voir l’étape 3 précédente comme une tentative d’entraînement par propriété de séparation (au lieu de minimisation d’erreur)

Entraînement typique Créer des matrices de poids aléatoires Exciter le réservoir avec les entrées et enregistrer les vecteurs d’états obtenus Entraîner le lecteur de sortie pour minimiser (Aw-b)2 space A B w time

Influence des paramètres dynamic regime chaos error reservoir size error timescale error Pas important a priori pour le liquide: Topologie du liquide Qui est connecté Distribution des poids

Propriété de séparation Distance inter-classes : Variance intra-classe :

Propriété de séparation Centre de masse d’une classe m : Variance moyenne d’une classe m :

Propriéte de séparation

Propriété de séparation Correlation coefficient is 0.6876