La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Chapitre 6 Réseaux récurrents. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 2 Plan  Structure du réseau de Hopfield.

Présentations similaires


Présentation au sujet: "Chapitre 6 Réseaux récurrents. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 2 Plan  Structure du réseau de Hopfield."— Transcription de la présentation:

1 Chapitre 6 Réseaux récurrents

2 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 2 Plan  Structure du réseau de Hopfield  Dynamique  Apprentissage  Application à l’optimisation  Machine de Boltzmann

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 3 Découverte  J. Hertz, A. Krogh et R.G. Palmer, Introduction to the theory of Neural Computation, Addison- Wesley,  Classique  Orienté « sciences pures » (physique)  Auteurs: chercheurs en physique stat.  Cours d’études supérieures  Approche théorique  R.J. Schalkoff, Artificial Neural Networks, McGraw Hill, 1997  Approche matricielle  Cours d’études supérieures  Beaucoup d’exemples  Couvre la plupart des modèles  L. Fausett, Fundamentals of Neural Networks, Prentice Hall, 1994  Livre de référence pour les éditions précédentes du cours (avant 2004)

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 4 Découverte informatique  Matlab Student version with Simulink  Learning Matlab 7  Learning Simulink 6  3 CDs pour installation –Windows –Linux –MacOS X

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Architecture du réseau de Hopfield  Article à l’origine: John Hopfield, 1982, Neural Networks and physical systems with emergent collective computational abilities  Principe de base:  Système nerveux possède des états stables localement. Ces états stables permettent d’emmagasiner de l’information qui agit comme attracteur.  Un état est présenté au réseau, qui tend alors vers un état stable en minimisant son énergie

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 6  Inspiration: verres de spin

7

8 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 8  Modèle de neurone ViVi VjVj T ij T ji ViVi VjVj T ij

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 9  Exemple 11 V1V1 V2V2 -2 V3V S3S3 S1S1

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Énergie d ’un réseau de Hopfield Le syst è me tend vers son é tat d’ é nergie minimal : 1)D é croissance assur é e de la fonction d’ é nergie 2)Neurones activ é s à  1 3)Activations calcul é es une à une 4)Attention aux minima locaux (A) !

11 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Exemple de calcul de l’énergie 11 V1V1 V2V2 -2 V3V S3S3 S1S1

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Un réseau simple de Hopfield

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Dynamique du réseau: relaxation Objectif : Partir d’un niveau d’énergie donné, atteindre le minimum local le plus proche pour récupérer l’information stockée (état stable) Conditions initiales : Forme P  S i Poids : Fixes (calculés lors d’un apprentissage antérieur) Neurones : a) Activations calculées une à une b) Selon une séquence aléatoire c) Valeurs  1 pour assurer la minimisation de la fonction d’énergie. Résultat : Minimisation de la fonction d’énergie et rappel de formes similaires précédemment enregistrées lors de l’apprentissage

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Relation entre changement d’état et minimisation de l’énergie On a Si le neurone ne change pas d’état : Si le neurone change d’état : Net(k) Soit V k l’activation d’un neurone k quelconque :

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Exemple pour montrer l’équivalence 11 V1V1 V2V2 -2 V3V S3S3 S1S1 Neurone V 1 1  -1

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Relation entre changement d’état et minimisation de l’énergie (2) Si on a un changement d’état alors on est assuré de diminuer E :

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Algorithme de relaxation V j tous visités ? Tirage aléatoire d’une séquence de visite des neurones Sélection du prochain neurone de la séquence P stable ? Non Oui FIN DÉPART

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exemple de relaxation

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Les états stables du réseau

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Apprentissage  « tailler » la courbe d’énergie  La règle la plus simple: Hebb  L’apprentissage est réalisé AVANT d’utiliser le réseau comme mémoire associative pour retrouver la forme emmagasinée à partir d’information partielle ou bruitée

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Exercice Example 3.22 (Fausett) a)Stocker le vecteur (1,1,1,-1) par apprentissage hebbien b)Présenter (-1,-1,1,-1) lors de la phase de relaxation c)Déterminer le nombre correct d’itérations d)Calculer la mise à jour de la fonction d’énergie pour chaque mise à jour de l’activation des neurones

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Optimisation  Une fonction de coût remplace la fonction d’énergie  L’optimisation consiste à minimiser la fonction de coût  La fonction de sortie utilisée est la fonction sigmoïde (au lieu de la fonction signe ou échelon)

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Exemple: Voyageur de commerce Un vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire.  Chaque ville est visitée une et une seule fois  L’itinéraire doit être le plus court possible afin de minimiser les frais d’essence La principale difficulté rencontrée avec ce type de problème est l’explosion combinatoire des solutions à évaluer.

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Itinéraires possibles : 5 villes = villes = villes = 4.67 *10 155

25 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Réseau de Hopfield  Lignes  villes  Colonnes  séquence de visite  Poids  contraintes du problème à résoudre –1 ville visitée 1 seule fois –1 étape  1 seule ville –Distance entre les villes  Activation du réseau  minimisation du coût

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût (à minimiser) : 4 contraintes C1: Favoriser les états avec chaque cité visitée une seule fois 1 neurone activé par ligne C2: Favoriser les états avec une seule valeur de position (par exemple, éviter que 2 villes soient visitées à l’étape 3) 1 neurone activé par colonne C3: Favoriser les états qui incluent les n villes C4: Favoriser les états avec les distances totales les plus courtes

27 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût C V xi : neurone correspondant à la ville x à l’étape i d xy : distance entre les villes x et y A, B, C, D : facteurs de pondération pour les contraintes C1C1 C2C2 C3C3 C4C4

28 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût C 1.Une matrice n’a pas plus de un 1 dans chaque ligne si chaque produit scalaire possible colonne par colonne est nul La double somme de droite exprime les N-1 produits scalaires de la colonne i (visite) pour une ligne (ville) x avec les autres colonnes La sommation de gauche exprime la sommation de toutes les possibilités énumérées à l’étape précédente

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût C 2. Pénalité pour deux 1 ou plus dans chaque colonne Fonctionnement similaire à la contrainte précédente mais pour contrôler le nombre 1 dans chaque colonne.

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût C 3. Contrainte pour s’assurer que la matrice ne contienne pas que des 0 En effet les deux contraintes précédentes pourraient ne donner que des 0 et le réseau ne serait d’aucune utilité : la meilleure facon de minimiser les frais de déplacements est de ne pas voyager. Cette contrainte pénalise aussi le fait d’avoir plus ou mois de n 1 dans le réseau

31 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Fonction de coût C 4. Exercice à faire à la maison …….

32 GPA-779 Application des réseaux de neurones et des systèmes experts Cours #  Calcul des poids


Télécharger ppt "Chapitre 6 Réseaux récurrents. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #7 - 2 Plan  Structure du réseau de Hopfield."

Présentations similaires


Annonces Google