La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal

Présentations similaires


Présentation au sujet: "Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal"— Transcription de la présentation:

1 Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal

2 Université de Ottawa, Novembre Sommaire Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs dentrées N. B.

3 Survol des produits matriciels

4 Université de Ottawa, Novembre Survol des produits matriciels Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire

5 Université de Ottawa, Novembre Survol des produits matriciels Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):

6 Université de Ottawa, Novembre Survol des produits matriciels Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):

7 Université de Ottawa, Novembre Survol des produits matriciels... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité outer product Le second réduit la dimensionnalité inner product. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product):

8 Université de Ottawa, Novembre Survol des produits matriciels... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité outer product Le second réduit de un la dimensionnalité inner product. par exemple

9 Inner vs. Outer

10 Université de Ottawa, Novembre Que fait un inner? Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées.

11 Université de Ottawa, Novembre Que fait un inner? Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, lopérateur de sommation permet de superposer les entrées lopérateur de multiplication permet de joindre les pairs dentrées. De façon explicite:

12 Université de Ottawa, Novembre Que fait un inner? Dans Mathematica: Dans ce inner, lopérateur de sommation permet de superposer les entrées lopérateur de multiplication permet de joindre les pairs dentrées. De façon explicite:

13 Université de Ottawa, Novembre Que fait un outer? Calcule toutes les combinaisons possibles des paires dentrées: ???

14 Université de Ottawa, Novembre Que fait un outer? Calcule toutes les combinaisons possibles des paires dentrées: ??? Dans ce outer, lopérateur de multiplication permet de joindre les pairs dentrées. De façon explicite:

15 Université de Ottawa, Novembre Que fait un outer? Dans Mathematica: Dans ce outer, lopérateur de multiplication permet de joindre les pairs dentrées. De façon explicite:

16 Lien avec les réseaux connexionnistes?

17 Université de Ottawa, Novembre Imaginons un perceptron... Ce perceptron a comme architecture: taille des inputs p taille des outputs q

18 Université de Ottawa, Novembre Imaginons un perceptron... Ce perceptron a comme architecture: taille des inputs p taille des outputs q La règle de transmission: La réponse dune unité doutput j est proportionnelle à la force des inputs pondérée par les poids de connections Avec un autre formalisme: ou encore dans Mathematica:

19 Université de Ottawa, Novembre Imaginons un perceptron... La règle dapprentissage: Le changement de poids de la connexion i, j est proportionnel à la force de linput et à la force de lerreur Avec un autre formalisme: ou encore dans Mathematica: La règle de transmission: La réponse dune unité doutput j est proportionnelle à la force des inputs pondérée par les poids de connections Avec un autre formalisme: ou encore dans Mathematica:

20 Université de Ottawa, Novembre Imaginons un perceptron... Pris ensemble: La règle de transmission: La règle dapprentissage: définissent un réseau appelé dans le jargon un réseau Sigma-pi

21 Conjecture

22 Université de Ottawa, Novembre Toute règle de transmission est réalisée par un Inner Toute règle dapprentissage est réalisée par un Outer

23 Université de Ottawa, Novembre Des exemples? Un perceptron (McClelland et al., 1986) Un réseau de course (Cousineau, 2004a et b, 2005) Un réseau FEBAM-SOM (Chartier et Giguère, 2009) Un réseau de Kohonen (SOM; 1982)

24 Vecteurs dentrées

25 Université de Ottawa, Novembre Pourquoi sen tenir à un vecteur dentrée et à un vecteur de sortie? La sortie peut être une surface (i.e. une matrice) Lentrée peut aussi être une matrice (e.g. une image rétinienne) Lentrée peut être – pourquoi pas – un cube (i.e. un tenseur)

26 Université de Ottawa, Novembre Supposant un input I de dimensions p q r un output O de dimensions s t On utilise ou dans Mathematica: Pour y arriver, supposant un input I de dimensions p q un output O de dimensions s t On utilise ou dans Mathematica:

27 N. B.

28 Université de Ottawa, Novembre Pour la règle de transmission: signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle dapprentissage: signifie aussi introduire une constante dapprentissage Tout au long, jai utilisé un raccourci, le signe Ce signe a plusieurs significations

29 Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined


Télécharger ppt "Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal"

Présentations similaires


Annonces Google