Une théorie générale des réseaux connexionnistes

Présentation au sujet: "Une théorie générale des réseaux connexionnistes"— Transcription de la présentation:

1 Une théorie générale des réseaux connexionnistes
Denis Cousineau Université de Montréal

2 Sommaire Survol des produits matriciels Inner vs. Outer
Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B. Université de Ottawa, Novembre 2009

3 Survol des produits matriciels

4 Survol des produits matriciels
Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Université de Ottawa, Novembre 2009

5 Survol des produits matriciels
Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

6 Survol des produits matriciels
Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

7 Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit la dimensionnalité  inner product . Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Université de Ottawa, Novembre 2009

8 Survol des produits matriciels
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit de un la dimensionnalité  inner product . par exemple Université de Ottawa, Novembre 2009

9 Inner vs. Outer

10 Que fait un inner? Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Université de Ottawa, Novembre 2009

11 Que fait un inner? Calcule la somme pondérée:
La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

12 Que fait un inner? Dans Mathematica: Dans ce inner,
l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

13 Que fait un outer? Calcule toutes les combinaisons possibles des paires d’entrées: ??? Université de Ottawa, Novembre 2009

14 Que fait un outer? Calcule toutes les combinaisons possibles des paires d’entrées: ??? Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

15 Que fait un outer? Dans Mathematica: Dans ce outer,
l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Université de Ottawa, Novembre 2009

16 Lien avec les réseaux connexionnistes?

17 Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q Université de Ottawa, Novembre 2009

18 Imaginons un perceptron...
Ce perceptron a comme architecture: taille des inputs p taille des outputs q La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections Avec un autre formalisme: ou encore dans Mathematica: Université de Ottawa, Novembre 2009

19 Imaginons un perceptron...
La règle d’apprentissage: Le changement de poids de la connexion i, j est proportionnel à la force de l’input et à la force de l’erreur Avec un autre formalisme: ou encore dans Mathematica: La règle de transmission: La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections Université de Ottawa, Novembre 2009

20 Imaginons un perceptron...
Pris ensemble: La règle de transmission: La règle d’apprentissage: définissent un réseau appelé dans le jargon un réseau Sigma-pi Université de Ottawa, Novembre 2009

21 Conjecture

22 Toute règle de transmission est réalisée par un Inner
Toute règle d’apprentissage est réalisée par un Outer Université de Ottawa, Novembre 2009

23 Des exemples? Un perceptron (McClelland et al., 1986)
Un réseau de course (Cousineau, 2004a et b, 2005) Un réseau FEBAM-SOM (Chartier et Giguère, 2009) Un réseau de Kohonen (SOM; 1982) Université de Ottawa, Novembre 2009

24 Vecteurs d’entrées

25 Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie?
La sortie peut être une surface (i.e. une matrice) L’entrée peut aussi être une matrice (e.g. une image rétinienne) L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur) Université de Ottawa, Novembre 2009

26 Pour y arriver, supposant
un input I de dimensions p  q un output O de dimensions s  t On utilise ou dans Mathematica: Supposant un input I de dimensions p  q  r un output O de dimensions s  t On utilise ou dans Mathematica: Université de Ottawa, Novembre 2009

27 N. B.

28 Tout au long, j’ai utilisé un raccourci, le signe ←
Ce signe a plusieurs significations Pour la règle de transmission: ← signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle d’apprentissage: ← signifie aussi introduire une constante d’apprentissage Université de Ottawa, Novembre 2009

29 Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined