La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Résumé Domaine des réseaux de neurones. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #10 - 2 Domaines dapplication de l IA.

Présentations similaires


Présentation au sujet: "Résumé Domaine des réseaux de neurones. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #10 - 2 Domaines dapplication de l IA."— Transcription de la présentation:

1 Résumé Domaine des réseaux de neurones

2 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

3 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

4 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

5 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

6 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

7 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

8 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

9 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

10 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Domaines dapplication de l IA Robotique Vision Langages naturels Sens commun Systèmes experts Réseaux neuroniques Parole Tâches formelles

11 Chapitre 1 Réseaux de neurones artificiels

12 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Sortie x1x1 x2x2 x3x3 x4x4 xnxn xNxN x5x5 Entrée x k W m 1 W m 2 W m 3 W m 4 W m 5 W m n W m N n Modèle dun neurone artificiel ymym = f(a) net m m f : Binaire ou Signe Linéaire à seuil Sigmoïde a m (k) F(net,a) =

13 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # net j : Somme pondérée de toutes les entrées à ce site du neurone net j :lorsquil y a 1 site s kj :lorsquil y a plus dun site par neurone j W O

14 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # = a i (k) F(net,a) yiyi = f(a) net i j x1x1 x2x2 x3x3 x4x4 xnxn xNxN x5x5 Sortie y i W i 1 W i 2 W i 3 W i 4 W i 5 W i n W i N Entrée X Générateur du Signal dapprentissage xnxn w i n didi r

15 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Taxonomie générale # couches dynamique modèle apprentis.

16 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Espace d'entrée X Extraction des primitives Espace des primitives Y Système de décision Espace des décisions D n Problématique Taxonomie pour la reconnaissance de formes

17 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau de neurones dextraction de primitives Système de décision Espace dobjets Espace des primitives Espace des décisions n Les réseaux de neurones extracteurs de primitives

18 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Composantes principales Système de décision Espace dobjets Espace des primitives Espace des décisions a) Vecteurs propres v x z u V1 V2 y y1y z x1x1 i j i j

19 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Extraction des primitives P1, P2, P3 Vecteurs prototypes Espace dobjets Espace des primitives Espace des décisions d1 z d2 d3 P1 P2 P3 b) Prototypes

20 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Primitives visuelles Système de décision Espace dobjets Espace des primitives Espace des décisions c) Primitives visuelles

21 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Éléments linéaires Système de décision Espace dobjets Espace des primitives Espace des décisions c) Primitives visuelles (suite)

22 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Extraction des primitives Réseau de neurones classifieur Espace dobjets Espace des primitives Espace des décisions n Les réseaux de neurones classifieurs

23 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau dextraction de primitives / classifieurs Extraction des primitives Système de décision Espace dobjets Espace des primitives (dobservations) Espace des décisions n Les réseaux de neurones extracteurs/classifieurs

24 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Taxonomie pour la reconnaissance de formes

25 Chapitre 2 Domaines dapplication

26 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Principaux domaines d application n 1. Classification n 2. Regroupement n 3. Approximation n 4. Prédiction n 5. Optimisation de parcours 6. Mémoire associative n 7. Commande

27 Introduction aux Réseaux de Neurones Application en Reconnaissance de Formes B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne

28 Neurone formel Réseaux Madaline 4 Le neurone formel de McCulloch&Pitts ?.AND..OR..XOR. ….... Fonctions logiques

29 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # x1x1 wnwn xnxn wNwN xNxN y Circuit à seuil Combinateur linéaire adaptatif yqyq Modèle du neurone formel de McCulloch&Pitts 1943 Version circuit à seuil

30 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # w 1 =+1 x1x1 x2x2 w 2 =+1 ET w 1 =+1 x1x1 x2x2 w 2 =+1 OU x1x1 x2x2 Sortie ET Sortie OU Exemple

31 4 Neurone formel - Réseaux Madaline Le neurone formel et la reconnaissance de formes 1 Sortie binaire Discrimination de 2 classes C 1 -1, et C 2 +1 y q < 2 Surface de décision Hyperplan dans N : - = 0

32 4 Neurone formel - Réseaux Madaline x1x1 x 2 D + D - x1x1 x2x2 D + D - x3x3 Surface de décision 3 Surface de décision 2 La fonction réalisée par un neurone formel : La séparation linéaire

33 4 Neurone formel - Réseaux Madaline Apprentissage des poids synaptiques Apprentissage ? 1 deux classes C 1 et C 2 linéairement séparables 2 Surface de séparation : - = 0 3 Apprentissage Base dexemples (X k, d(k)) d(k) = 1 Estimer w n et

34 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Lalgorithme dapprentissage de Rosenblatt, 1958 w1w1 x 1 (k) wnwn x n (k) wNwN x N (k) y(k) y q (k) d(k) Algorithme de Rosenblatt Nouveaux [ w 1, w 2,…, w N ] e q (k) W (t+1) = W (t) + e q (k) X k

35 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # XkXk W (t) W(t+1) x1x1 x2x2 x3x3 W (t+1) = e q (k) X k Interprétation géométrique de lalgorithme de Rosenblatt La modification de poids est proportionnelle à lerreur et au vecteur dentrée et est de même direction que ce dernier

36 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # initialisation aléatoire des poids synaptiques; tant que CONDITION DARRÊT non vérifiée faire Pour k = 1 jusqu'à k = K faire présenter la forme X k à l'entrée; calculer y q (k); calculer e q (k); Pour n = 0 jusqu'à n = N faire ajustement des poids : w n (t+1) = w n (t) + e q (k) x n (k) Fin ; Fin. Le déroulement de lalgorithme d'apprentissage

37 4 Neurone formel - Réseaux Madaline Rosenblatt a démontré, 1960, la convergence de cet algorithme pour la séparation de deux classes à condition qu'elles soient linéairement séparables. Si e q (k) = 0 y q (k)= d(k) w (k+1) = w (k) (i.e. pas de modification des poids synaptiques) Exemple : = 0, d(k)= 1 y (k) = y (k) = e q (k) = 0

38 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Lalgorithme de Widrow-Hoff, 1960 w1w1 x 1 (k) wnwn x n (k) wNwN x N (k) y(k) y q (k) d(k) Algorithme de Widrow- Hoff Nouveaux [w 1, w 2,…, w N ] e(k) Minimiser l'erreur analogique quadratique moyenne : [d(k) - y(k)] 2 W (t+1) = W (t) + e(k) X k

39 4 Neurone formel - Réseaux Madaline C1C1 C2C2 C1C1 C2C2 C1C1 C2C2 Widrow-Hoff C1C1 C2C2 C1C1 C2C2 C1C1 C2C2 Rosenblatt A p p r e n t i s s a g e

40 6 Applications - OCR Le neurone formel en reconnaissance de chiffres Séparation entre deux classes Imagette dentrée X Poids synaptiques Classe 1 : -1 Classe 2 : +1

41 4 Neurone formel - Réseaux Madaline réseaux Madaline x2x2 x 1 x1x1 x2x2 OR AN D Décision C 1 : {-1,+1} Décision C 2 : {-1,+1} Solution « artificielle » et si N > 3 ? Naissance de larchitecture multicouches

42 Réseaux de Neurones Multicouches Algorithme de rétropropagation de gradient B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne

43 1 Réseaux multicouches x1x1 x2x2 xnxn xNxN Couche dentrée Couche cachée 1 Couche cachée 2 Couche de sortie XS

44 Comment associer une sortie à chaque classe ? Classe « m » : X C m s m =1, et s m =0 si m m Quelle est la nature des sorties ? Neurone de McCulloch&Pitts sorties binaires +1 et -1 Comment réaliser lapprentissage des poids synaptiques ? Algorithme du gradient fonctions «dérivables»

45 « Légère » modification du modèle proposé par McCulloch & Pitts a = 0.5 a =1.0 a = 1.5 Fonction seuil la fonction sigmoïde Nouveau paramètre à régler : la pente de la fonction sigmoïde

46 Lalgorithme de la rétropropagation du gradient Base dapprentissage étiquetée B = { ( X k, D k ), k=1, 2, …, K } X k = [ x 1 (k),.., x i (k),.., x N (k) ] tr k = 1, 2,.., K indice qui désigne une forme dentrée K nombre de formes dentrée dans la base N dimension des vecteurs dentrée Hypothèse D k = [ d 1 (k),.., d m (k),.., d M (k) ] tr {0, 1} M vecteur de sortie désirée correspondant à X k 2

47 Exemple : Trois classes C 1, C 2 et C 3 X k = [ x 1 (k),.., x i (k),.., x N (k) ] tr : Classe C 1 D k = [ 1, 0, 0 ] tr x 1 (k) x 2 (k) x i (k) x N (k) d 1 (k) = 1 d 2 (k) = 0 d 3 (k) = 0

48 concrètement : x 1 (k) x 2 (k) x i (k) x N (k) d 1 (k) d 2 (k) d 3 (k) s 1 (k) s 2 (k) s 3 (k) Fonction du coût : Erreur quadratique instantanée

49 Algorithme de descente du gradient classique : Fonction du coût à minimiser : Coût(p) P (n) Coût(p) p P (n+1) P (n+1) = P (n) - Fonction du coût à minimiser : Coût(p 1, p 2,…., p L ) P l (n+1) = P l (n) -

50 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # x 1 (k) XkXk v j,n w m,j y j (k) s m (k) s 1 (k) s M (k) Couche cachée comportant J neurones SkSk Vecteur de sortie obtenu Vecteur dentrée x 2 (k) x n (k) x N (k) Cas dune couche cachée

51 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Fonction du coût : Erreur quadratique instantanée pour les poids synaptiques w m,j W m,j Erreur liée à s m

52 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # pour les poids synaptiques v j,i v j,n ?

53 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Le déroulement de l'algorithme de la rétropropagation du gradient La propagation directe 1. La forme X k est présentée à l'entrée du réseau 2. Calcul des y j (k), j= 1, 2,.., J, et s m (k), m= 1, 2,.., M 3. Calcul des m (k), m= 1, 2,.., M La rétropropagation 1. Rétropropagation et calcul de j, j=1,2, …,J 2. Actualisation des poids w m,j 3. Actualisation des poids v j,n

54 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Résumé: fonctionnement du rétro-prop. a) propagation directe

55 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Résumé: fonctionnement du rétro-prop. b) propagation inverse du gradient

56 Discrimination linéaire Extraction des primitives Point de vue extraction de primitives * * * * * * * * * *

57 4 Applications Reconnaissance Optique des Caractères (O.C.R) Seuillage dimages Base dapprentissage incrémentale Data Mining, Extraction des connaissances Compression dimages (Réseau Diabolo)

58 Chapitre 5 Mémoires associatives

59 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Reconstruction d images

60 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Architecture W x1x1 x2x2 xNxN yMyM y2y2 y1y1

61 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Phases dopération 1- Entraînement Prototype à mémoriser: Mémorisation: Entrée: 2- Recherche

62 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Catégories 1-Mémoire auto- associative 2-Mémoire héréro- associative

63 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Entraînement n Règle de Hebb Algorithme 0-Initialisation W mn = 0 1-Pour chaque paire T : V 2-x n = t n 3-y m = v m 4-W mn = W mn (précédent) + x n y m

64 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Algorithme alternatif: produit externe de vecteurs

65 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # ä Phase de recherche 1- Entrées non-corrélés (vecteurs orthogonaux) recouvrement total et parfait 2- Entrées corrélés recouvrement croisé (bruit dintercorrélation)

66 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Règle Delta Règle itérative utilisée pour des vecteurs à mémoriser qui sont linéairement indépendants mais non-orthogonaux. La règle atténue les effets de corrélation croisée et produit une solution de moindres carrés lorsque les vecteurs ne sont pas linéairement indépendants

67 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Mémoires anticipatives n Algorithme 1-Entraînement a) Hebbien b) Delta 2-Forme (partielle ou bruitée) présentée à lentrée

68 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Mémoires itératives n Réseau de Hopfield 11 y1y1 y3y3 x2x2 1 x1x1 1 y2y

69 Chapitre 6 Réseaux récurrents

70 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Énergie d un réseau de Hopfield Le syst è me tend vers son é tat d é nergie minimal : 1)D é croissance assur é e de la fonction d é nergie 2)Neurones activ é s à 1 3)Activations calcul é es une à une 4)Attention aux minima locaux (A) !

71 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Exemple de calcul de lénergie 11 V1V1 V2V2 -2 V3V S3S3 S1S1

72 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Dynamique du réseau: relaxation Objectif : Partir dun niveau dénergie donné, atteindre le minimum local le plus proche pour récupérer linformation stockée Conditions initiales : Forme P S i Poids : Fixes (donnés par un apprentissage antérieur) Neurones : a) Activations calculées une à une b) Selon une séquence aléatoire c) Valeurs 1 pour assurer la minimisation de la fonction denergie. Résultat : Minimisation de la fonction dénergie et rappel de formes similaires précédemment enregistrées lors de lapprentissage

73 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Relation entre changement détat et minimisation de l énergie On a Si le neurone ne change pas détat : Si le neurone change détat : Net(k) Soit V k lactivation dun neurone k quelconque :

74 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Relation entre changement détat et minimisation de lénergie (2) Si on a un changement détat alors on est assuré de diminuer E :

75 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Algorithme de relaxation V j tous visités ? Tirage aléatoire dune séquence de visite des neurones Sélection du prochain neurone de la séquence P stable ? Non Oui FIN DÉPART

76 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Apprentissage n « tailler » la courbe dénergie n La règle la plus simple: Hebb n Lapprentissage est réalisé AVANT dutiliser le réseau comme mémoire associative pour retrouver la forme emmagasinée à partir dinformation partielle ou bruitée

77 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Optimisation n Une fonction de coût remplace la fonction dénergie n Loptimisation consiste à minimiser la fonction de coût n La fonction de sortie utilisée est la fonction sigmoïde (au lieu de la fonction signe ou échelon)

78 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Exemple: Voyageur de commerce Un vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire. o Chaque ville est visitée une et une seule fois o Litinéraire doit être le plus court possible afin de minimiser les frais dessence La principale difficulté rencontrée avec ce type de problème est lexplosion combinatoire des solutions à évaluer.

79 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Réseau de Hopfield ä Lignes villes ä Colonnes séquence de visite ä Poids contraintes du problème à résoudre –1 ville visitée 1 seule fois –1 étape 1 seule ville –Distance entre les villes ä Activation du réseau minimisation du coût

80 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Fonction de coût C V xi : neurone correspondant à la ville x à létape i d xy : distance entre les villes x et y A, B, C, D : facteurs de pondération pour les contraintes C1C1 C2C2 C3C3 C4C4

81 GPA-779 Application des réseaux de neurones et des systèmes experts Cours # n Calcul des poids


Télécharger ppt "Résumé Domaine des réseaux de neurones. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #10 - 2 Domaines dapplication de l IA."

Présentations similaires


Annonces Google