GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction Mémoire associativeOptimisation Commande robotique 3- Perceptron Historique Reconnaissance de formes Neurone formel de McCulloch & Pitts Perceptron de Rosenblatt Adaline et madaline de Widrow-Hoff

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 2 Découverte S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, 2 e édition, 1998 (1 ère édition: IEEE Press). Approche ingénierie Classique dans le domaine Meilleure introduction aux réseaux de neurones artificiels, selon un sondage.

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 3 Découverte Hervé ABDI, Les réseaux de neurones, Presses Universitaires de Grenoble, Découvert à Paris, juillet 2002, 24 Approche pédagogique Nombreux exemples numériques Perceptron : Rosenblatt et multicouche, MA, Hopfield Appendice: calcul matriciel Appendice: programmes MATLAB

Chapitre 2 Domaines dapplication

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 5 Principaux domaines dapplication 1. Classification 2. Regroupement 3. Approximation 4. Prédiction 5. Optimisation de parcours 6. Mémoire associative 7. Commande

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Classification Montrer par lexemple à reconnaître les catégories de formes présentées à lentrée du réseau Perceptron de Rosenblatt Réseau à rétro-propagation du gradient derreur (perceptron multicouche)

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 7 Reconnaissance de chiffres

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 8 Sonar Travaux de Sejnowski & Gorman, 1988 Pré-traitement: TFD Apprentissage: formes spectrales

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approximation Transformer une forme dentrée en une forme de sortie selon une fonction de transformation apprise par le réseau Réseau à rétro-propagation du gradient derreurs (perceptron multicouche) Adaline-Madaline

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approximation de fonction transcendentale n=10; K=21 31 param. à entraîner : –20 poids –11 polar.

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau Net Talk Sejnowski & Rosenberg 1986 But: Apprendre à prononcer un texte écrit avec laide dun dictionnaire phonétique

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 12

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approximation complexe: conduite dun véhicule motorisé 1217 unités à gaucheà droite route + claire ou + foncée = 256 = 960 (dans le bleu)

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Approximation complexe: conduite de véhicule motorisé Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, dintensité et de distortion. Lapprentissage dure ~30 min. Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Prédiction Prédire une valeur de sortie à partir dune forme dentrée Indice Dow-Jones Couche cachée: indicateurs, dont: DJ précédent Or Bons du trésor

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Compression Encodeur transmis Extraction de primitives Classification

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Mémorisation associative Mémoriser plusieurs formes. En rappeler 1 à partir dune forme partielle ou bruitée. Réseau de Hopfield BAM, ABAM

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Reconstruction dimages

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Optimisation Trouver une bonne solution (pas nécessairement LA solution optimale) qui minimise une fonction de coût. Réseau récurrent de Hopfield Machine de Boltzmann

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Voyageur de commerce Un vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire. o Chaque ville est visitée une et une seule fois o Litinéraire doit être le plus court possible afin de minimiser les frais dessence La principale difficulté rencontrée avec ce type de problème est lexplosion combinatoire des solutions à évaluer.

GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 21

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau de Hopfield Lignes villes Colonnes séquence de visite Poids contraintes du problème à résoudre –1 ville visitée 1 seule fois –1 étape 1 seule ville –Distance entre les villes Activation du réseau minimisation du coût

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Regroupement Apprendre sans supervision à classer les données soumises au réseau. Les classes sont regroupées selon un critère de proximité des formes. 2 formes «semblables» vont activer une seule et même classe. Les réseaux de compétition forment la base : Gagnant emporte tout ART Kohonen, LVQ

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # Réseau ART pour la classification non-supervisée

GPA-779 Application des réseaux de neurones et des systèmes experts Cours # ART: reconnaissance de lettres manuscrites = 0,9 = 3 et plus nouvelle catégorie

Chapitre 3 Le Perceptron

Réseaux de Neurones Application en Reconnaissance de Formes daprès B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne

Plan 1 Problématique de reconnaissance de formes 2 Développement dune solution neuronale 3 Neurone formel - Perceptron, Madaline

1 Bref historique Comprendre lintelligence humaine Voie NeurobiologiqueVoie fonctionnelle Raisonnement, Logique macroscopique, Fonctionnalités réalisées. Connaissance neurobiologique, psychologie expérimentale, Structure du système nerveux central. MathématiquesElectronique ?

1 Bref historique 1890 : « Principles of Psychology », J. Williams, NY Voie Neurobiologique Système nerveux : fibres de propagation de courants électriques Thoughts and bodily actions are produced as a result of these currents flowing from regions having an excess of electrical charge to regions having a deficit of electrical charge. The intensity of the thoughts and actions are proportional to the current flow rate which in turns, is proportional to the difference of charge between the two regions. … Concept de neurone : source de décharge Connexions synaptiques : support de transmission des courants

1 Bref historique 1938 : N. Rashevski « Mathematical biophysics », Univ. Chicago Press : The brain could be organized around binary logic operations … : Warren McCulloch and Walter Pitts : «A logical calculus of the ideas immanent in nervous activity » Opération XOR de Rashevski Seule opération proposée Formulation analogique Concept de seuillage (neurone dans lun des états : activé, inhibé).

1 Bref historique 1949 : D. Hebb «The organization of behaviour», McGill, Univ. Règle de Hebb : Modification des règles dapprentissage de W. James 1954 : Farley and Clark, M.I.T Simulation du 1 er réseau de neurones inspiré de la règle de Hebb 1958 : Frank Rosenblatt, Le perceptron 1960 : Bernard Widrow, Marcain Hoff, Adaline 1969 : Minsky et Papert, « Perceptrons, an introduction to computational geometry »

Les réseaux de neurones Neuropsychologie Approche statistique Approche statistique Intelligence Artificielle Intelligence Artificielle 1 Bref historique Trois points de vue MémoireModèles mathématiques Représentation des connaissances

Problématique de Reconnaissance de Formes 1 Espace d'entrée X Extraction des primitives Espace des primitives Y Système de décision Espace des décisions D

z = u + v y1y1 1 Problématique de reconnaissance de formes Les primitives : 1 Les vecteurs propres x y i j z z = x 1 + y 1 i j x1x1 v x i j z u V1V1 V2V2 V1V1 V2V2

1 Problématique de reconnaissance de formes 2 Les primitives visuelles ….

1 Problématique de reconnaissance de formes 3 Les vecteurs prototypes z (x,y) z(d1,d2,d3) y x z P1 P2 P d1 z d2 d3 P1 P2 P

1 Problématique de reconnaissance de formes Système de décision Données disponibles : Primitives à utiliser Base dexemples et sa nature Connaissances disponibles : Modèles et connaissances a priori Caractéristiques exigées

1 Problématique de reconnaissance de formes Système de décision : Exemple Classifieur bayésien Primitives à utiliser : données numériques Base dexemples et sa nature : Base étiquetée Modèles a priori : Densités de probabilité Caractéristiques exigées :Taux derreur, fausse alarme,.. À estimer classe / classe

2 Problématique de reconnaissance de formes Système de décision : Exemple Classifieur bayésien

2 Problématique de reconnaissance de formes Système de décision : Exemple Classifieur bayésien Classe : Blé

Développement dune solution neuronale 2 Problème formel Un ensemble de connaissances Une base dapprentissage Case Based Reasoning

Problème formel : Reconnaissance de chiffres manuscrits Connaissances : Lensemble des chiffres (0, 1, …, 9), La structures des chiffres, Forme de représentation (images 16x16), Les primitives à utiliser, Les méthodes de pré-traitement utilisées,.. Une base dapprentissage : 5, Chiffre « 5 » ?

Problème formel : Reconnaissance de pannes dans les cartes électroniques. Connaissances : Lensemble des pannes potentielles, Les mesures réalisables, Une base dapprentissage : Carte + panne + Mesures associées

2 Développement dune solution neuronale Démarche 1 Identifier les connaissances exploitables 2 Définir larchitecture neuronale adéquate : a. objectifs, b. nature de la base dapprentissage 3 Définir la mémoire et lalgorithme dapprentissage 4 Définir la stratégie de décision

2 Développement dune solution neuronale Catégorisation des R.d.N en Reconnaissance de Formes 1 Les réseaux de neurones classifieurs Extraction des primitives Réseau de neurones classifieur Espace dobjets Espace des primitives Espace des décisions

Réseau de neurones dextraction de primitives 2 Développement dune solution neuronale 2 Les réseaux de neurones extracteurs de primitives Système de décision Espace dobjets Espace des primitives Espace des décisions

2 Développement dune solution neuronale 3 Les réseaux de neurones extracteurs de primitives/Classifieurs Réseau dextraction de primitives / classifieurs Extraction des primitives Système de décision Espace dobjets Espace des primitives (dobservations) Espace des décisions

Neurone formel : Réseaux perceptron et madaline 3 Le neurone formel de McCulloch&Pitts ?.AND..OR..XOR. ….... Fonctions logiques

1 x1x1 wnwn xnxn wNwN xNxN y Circuit à seuil Combinateur linéaire adaptatif yqyq Modèle du neurone formel de McCulloch&Pitts 1943 Version circuit à seuil

w1w1 x1x1 wnwn xnxn wNwN xNxN y Combinateur linéaire adaptatif 1 b Biais Version somme biaisée

w 1 =+1 x1x1 x2x2 w 2 =+1 ET w 1 =+1 x1x1 x2x2 w 2 =+1 OU x1x1 x2x2 Sortie ET Sortie OU Exemple

x1x1 x 2 D + D - x1x1 x2x2 D + D - x3x3 Surface de décision 3 Surface de décision 2 La fonction réalisée par un neurone formel : La séparation linéaire

Exemple : PQ P Q Q P Y 1 w1w1 w2w2 b P Q P Q

P Q Exemple (suite) : La droite qui résoud le problème est donnée par : où b = -1 w 1 = 1 w 2 = 1 le signe de b vérifie que :

Exercice : PQ P Q Q P Y 1 w1w1 w2w2 b P Q P Q

Exercice (solution) : P Q La droite qui résoud le problème est donnée par : où b = 1 w 1 = 1 w 2 = 1 le signe de b vérifie que :

Le neurone sépare deux classes mais ne permet pas de les caractériser ! x1x1 x2x2 D+D+ D-D- X Y C1C1 C2C2 x1x1 x2x2 s S(X) = S(Y)

Apprentissage des poids synaptiques Apprentissage ? 1 deux classes C 1 et C 2 linéairement séparables 2 Surface de séparation : 3 Apprentissage Base dexemples (X k, d(k)) d(k) = {0,1} ou {-1,+1} Estimer w n et b

Lalgorithme dapprentissage de Rosenblatt, 1958 w1w1 x 1 (k) wnwn x n (k) wNwN x N (k) y(k) y q (k) d(k) Algorithme de Rosenblatt Nouveaux [ w 1, w 2,…, w N ] e q (k) W (t+1) = W (t) + e q (k) X k

XkXk W (t) W(t+1) x1x1 x2x2 x3x3 W (t+1) = e q (k) X k Interprétation géométrique de lalgorithme de Rosenblatt La modification de poids est proportionnelle à lerreur et au vecteur dentrée et est de même direction que ce dernier

initialisation aléatoire des poids synaptiques; tant que CONDITION DARRÊT non vérifiée faire Pour k = 1 jusqu'à k = K faire présenter la forme X k à l'entrée; calculer y q (k); calculer e q (k); Pour n = 0 jusqu'à n = N faire ajustement des poids : w n (t+1) = w n (t) + e q (k) x n (k) Fin ; Fin. Le déroulement de lalgorithme d'apprentissage

Exemple : PQ P Q Q P Ne t 1 w1w1 w2w2 b3b3 Out d Seuil à 0,2

Exemple (suite): PQb 111 w 1 w 2 b 111 Initialisation des poids à 0 w1w1 w2w2 b 111 (0 0 0) d 1 Calcul de la droite de séparation PQb 101 w 1 w 2 b 0 w1w1 w2w2 b 010 d Net Out 0 Net Out 2 1 … … …

Rosenblatt a démontré, 1960, la convergence de cet algorithme pour la séparation de deux classes à condition qu'elles soient linéairement séparables. Si e q (k) = 0 y q (k)= d(k) W (k+1) = W (k) (i.e. pas de modification des poids synaptiques) Exemple : = 0, d(k)= 1 y (k) = y (k) = e q (k) = 0

Lalgorithme de Widrow-Hoff, 1960 w1w1 x 1 (k) wnwn x n (k) wNwN x N (k) y(k) y q (k) d(k) Algorithme de Widrow- Hoff Nouveaux [w 1, w 2,…, w N ] e(k) Minimiser l'erreur analogique quadratique moyenne : [d(k) - y(k)] 2 W (t+1) = W (t) + e(k) X k

C1C1 C2C2 C1C1 C2C2 C1C1 C2C2 Widrow-Hoff C1C1 C2C2 C1C1 C2C2 C1C1 C2C2 Rosenblatt A p p r e n t i s s a g e

C2C2 C 1 x2x2 x 1 Marvin Minsky, 1969 Perceptrons, an introduction to computational geometry Le problème du XOR

x 1 x 2 Réseau Functional Link x1x1 x2x2 Modélisation non linéaire du neurone biologique x2x2 x1x1 D+D+ D - y = w 0 + w 11 (x 1 ) 2 + w 22 (x 2 ) 2 + w 12 x 1 x 2 + w 1 x 1 + w 2 x 2 = 0

réseaux Madaline x2x2 x 1 Z2Z2 Z1Z1 Solution « artificielle » et si N > 3 ? Naissance de larchitecture multicouches Y X2X2 X1X b1b1 v1v1 w 11 w 12 w 21 w 22 v2v2 b3b3 b2b2

Fausett, Prentice Hall, 1994 Exercice 2.7 PQPQ Q P Y 1 w1w1 w2w2 b P Q PQb w 1 w 2 b w1w1 w2w2 b d 1 Out Net

Exercice 2.7 (suite) P Q P Q P Q P + Q + 1 = 0Q = 0P + Q - 1 = 0 Étape 1Étape 2Étape 3

Fausett, Prentice Hall, 1994 Exercice 2.16 PQ P ¬Q La règle dapprentissage de lADALINE cherche à minimiser lerreur quadratique totale : où est la valeur « Net » et d est un élément de la table de vérité de P ¬Q Q P Ne t 1 w1w1 w2w2 b Out d

Exercice 2.16 (suite) E = (w 1 + w 2 ) 2 + (w 1 – 1) 2 + (w 2 ) 2 2 w 1 + w 2 – 1 = 0 -4 w 2 + w 2 – 1 = 0 ou w 2 = -1/3 2(w 1 + w 2 ) + 2(w 2 ) = 0 w w 2 = 0 ou w 1 = -2 w 2 w 1 = 2/3 2(w 1 + w 2 ) + 2(w 1 – 1) = 0 Le AND NOT sans valeur de biais consiste à minimiser : Il ny a pas derreur pour la dernière ligne du tableau logique, peu importe les valeurs de poids synaptiques. Les dérivées partielles en w 1 et w 2 permettent de trouver le minimum de E :

Exercice 2.16 (suite) 2(w 1 + w 2 + b) + 2(w 1 – 1 + b) = 0 E = (w 1 + w 2 + b) 2 + (w 1 – 1 + b) 2 + (w 2 + b) 2 + b 2 2(w 1 + w 2 + b) + 2(w 2 + b) = 0 2(w 1 + w 2 + b) + 2(w 1 – 1 + b) + 2(w 2 + b) + 2b = 0 2 w 1 + w 2 + 2b = 1 w w 2 + 2b = 0 2 w w 2 + 4b = 1 { w 1 = 0.5 w 2 = -0.5 b = 0.25 Le AND NOT avec valeurs de biais consiste à minimiser : Les dérivées partielles en w 1, w 2 et b permettent de trouver le minimum de E :