Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA

Sommaire Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B. Université de Ottawa, Novembre 2009

Survol des produits matriciels

Survol des produits matriciels Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Université de Ottawa, Novembre 2009

Survol des produits matriciels Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

Survol des produits matriciels Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

Survol des produits matriciels ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit la dimensionnalité  inner product . Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

Survol des produits matriciels ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit de un la dimensionnalité  inner product . par exemple Université de Ottawa, Novembre 2009

Inner vs. Outer

Que fait un inner? Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Université de Ottawa, Novembre 2009

Que fait un inner? Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

Que fait un inner? Dans Mathematica: Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

Que fait un outer? Calcule toutes les combinaisons possibles des paires d’entrées: ??? Université de Ottawa, Novembre 2009

Que fait un outer? Calcule toutes les combinaisons possibles des paires d’entrées: ??? Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

Que fait un outer? Dans Mathematica: Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

Lien avec les réseaux connexionnistes?

Imaginons un perceptron... Ce perceptron a comme architecture: taille des inputs p taille des outputs q Université de Ottawa, Novembre 2009

Imaginons un perceptron... Ce perceptron a comme architecture: taille des inputs p taille des outputs q La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections Avec un autre formalisme: ou encore dans Mathematica: Université de Ottawa, Novembre 2009

Imaginons un perceptron... La règle d’apprentissage: Le changement de poids de la connexion i, j est proportionnel à la force de l’input et à la force de l’erreur Avec un autre formalisme: ou encore dans Mathematica: La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections Université de Ottawa, Novembre 2009

Imaginons un perceptron... Pris ensemble: La règle de transmission: La règle d’apprentissage: définissent un réseau appelé dans le jargon un réseau Sigma-pi Université de Ottawa, Novembre 2009

Conjecture

Toute règle de transmission est réalisée par un Inner Toute règle d’apprentissage est réalisée par un Outer Université de Ottawa, Novembre 2009

Des exemples? Un perceptron (McClelland et al., 1986) Un réseau de course (Cousineau, 2004a et b, 2005) Un réseau FEBAM-SOM (Chartier et Giguère, 2009) Un réseau de Kohonen (SOM; 1982) Université de Ottawa, Novembre 2009

Vecteurs d’entrées

Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une surface (i.e. une matrice) L’entrée peut aussi être une matrice (e.g. une image rétinienne) L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur) Université de Ottawa, Novembre 2009

Pour y arriver, supposant un input I de dimensions p  q un output O de dimensions s  t On utilise ou dans Mathematica: Supposant un input I de dimensions p  q  r un output O de dimensions s  t On utilise ou dans Mathematica: Université de Ottawa, Novembre 2009

N. B.

Tout au long, j’ai utilisé un raccourci, le signe ← Ce signe a plusieurs significations Pour la règle de transmission: ← signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle d’apprentissage: ← signifie aussi introduire une constante d’apprentissage Université de Ottawa, Novembre 2009

Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined