La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations.

Présentations similaires


Présentation au sujet: "Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations."— Transcription de la présentation:

1 Chapitre 5 Mémoires associatives

2 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations Catégories Entraînement Hebb Delta Mémoire anticipative Mémoire itérative

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 3 Découverte 3 livres du groupe PDP Vol. 1: théorie 1986 Vol. 2: modèles bio. 1986 Vol. 3: modèles informatiques 1988 successeur: PDP++ 2003 http://psych.colorado.edu/~oreilly /PDP++/PDP++.html Bibles de lépoque Modèles info. PC-MAC- UNIX Bases de la rétropropag. Appendice: analyse vectorielle 1. Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 1. 1986, The MIT Press: Cambridge, Massachusetts. 547. 2. McClelland, J.L., D.E. Rumelhart, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 2. 1986, The MIT Press: Cambridge, Massachusetts. 611. 3. McClelland, J.L. and D.E. Rumelhart, Explorations in Parallel Distributed Processing - A Handbook of Models, Programs, and Exercises. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. 1989, Cambridge, Massachusetts: The MIT Press. 353.

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 4 Principaux domaines d application 1. Classification 2. Regroupement 3. Approximation 4. Prédiction 5. Optimisation de parcours 6. Mémoire associative 7. Commande

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 5 Reconstruction d images

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 6 Exemple dapplication

7 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 7 5.1 Architecture W x1x1 x2x2 xNxN yMyM y2y2 y1y1

8 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 8 x1x1 x2x2 xnxn xNxN y1y1 y2y2 ymym yMyM w 1n w 2n w mn w Mn

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 9

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 10 Phases dopération 1- Entraînement Prototype à mémoriser: Mémorisation: Entrée: 2- Recherche

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 11 Catégories 1-Mémoire auto- associative 2-Mémoire héréro- associative

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 12 5.2 Entraînement Règle de Hebb Algorithme 0-Initialisation W mn = 0 1-Pour chaque paire T : V 2-x n = t n 3-y m = v m 4-W mn = W mn (précédent) + x n y m

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 13 Algorithme alternatif: produit externe de vecteurs

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 14 Phase de recherche 1- Entrées non-corrélées (vecteurs orthogonaux) recouvrement total et parfait 2- Entrées corrélés recouvrement croisé (bruit dintercorrélation)

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 15 Capacité demmagasinement –Maximum: N-1 (si tous les vecteurs dapprentissage sont orthogonaux) –Pour un réseau de Hopfield (mémoire itérative):

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 16 Règle Delta Règle itérative utilisée pour des vecteurs à mémoriser qui sont linéairement indépendants mais non-orthogonaux. La règle atténue les effets de corrélation croisée et produit une solution de moindres carrés lorsque les vecteurs ne sont pas linéairement indépendants

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 17 5.3 Mémoires anticipatives Algorithme 1-Entraînement a) Hebbien b) Delta 2-Forme (partielle ou bruitée) présentée à lentrée

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 18 5.4 Mémoires itératives 5.4.1 Réseau de Hopfield 11 y1y1 y3y3 x2x2 1 x1x1 1 y2y2 -2 +1 +4

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 19 Énergie dun réseau de Hopfield

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 20 Algorithme 1- Entraînement: mémoriser les couples T:V 2- Forme (partielle ou bruitée) présentée à lentrée y i = x i Relaxation: Pour chaque neurone (pris au hasard):

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 21 Un réseau simple de Hopfield

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 22 Relaxation 7 543 12 +1 6

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 23 Les états stables du réseau

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 24 Un réseau de Hopfield comme MA

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 25 5.4.2 Mémoire associative bidirectionnelle - BAM

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 26 Exercice Trouver la matrice de transformation W (poids) pour emmagasiner les patrons: »t1=[1 1 -1 -1]; »t2=[-1 1 1 -1];

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 27 Solution »t1=[1 1 -1 -1]; »t2=[-1 1 1 -1]; »W1=t1'*t1 W1 = 1 1 -1 -1 -1 -1 1 1 »W2=t2'*t2 W2 = 1 -1 -1 1 -1 1 1 -1 1 -1 -1 1 »W=W1+W2 W = 2 0 -2 0 0 2 0 -2 -2 0 2 0 0 -2 0 2 » W0=W-2*eye(4) W0 = 0 0 -2 0 0 0 0 -2 -2 0 0 0 0 -2 0 0


Télécharger ppt "Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #6 - 2 Plan Architecture Phases dopérations."

Présentations similaires


Annonces Google