La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Méthodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Systèmes dIle de France Groupe Perception, Automatique.

Présentations similaires


Présentation au sujet: "Méthodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Systèmes dIle de France Groupe Perception, Automatique."— Transcription de la présentation:

1 Méthodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Systèmes dIle de France Groupe Perception, Automatique et Réseaux Connexionnistes

2 MOTIVATIONS DES INGENIEURS : Sinspirer de la neurobiologie pour construire des machines capables dapprentissage et aptes à remplir des taches spécifiques : classification, prédiction, contrôle … MOTIVATIONS DES BIOLOGISTES : Utiliser des outils issus des mathématiques et de la physique en vue de construire des modèles plausibles du fonctionnement du système nerveux Pourquoi les réseaux de neurones ?

3 La modélisation du neurone (McCullogh & Pitts 1943) Le processus dapprentissage (Hebb 1949) Le perceptron (Rosenblatt 1952) Convergence dun algorithme itératif dadaptation des poids dun neurone L Adaline (1960) Neurones en réseau mono-couche Limites du perceptron (Minsky & Papert 1969) Historique (2) les pionniers

4 Historique (3) le néo-connexionnisme Cartes auto-organisantes (Kohonen 1980) Machine de Boltzmann (Hopfield 1982) Rétro propagation (Rumelhart, Parker, Le Cun1985) Convergence dun algorithme itératif dadaptation des poids dun réseau de neurones multi-couche Support Vector Machine (Vapnik 1992) Théorie de lapprentissage

5 Éléments de neurobiologie Visualisation par coloration (Golgi 1873) Concept de neurone (Ramon y Cajal 1988)

6 AuditifCutanéOlfactif Neurones récepteursMoto-neurone Inter-neurones Différents types de neurone Bipolaire de rétine

7 Neurone naturel dendrites Corps cellulaire Cône axonal Axone primaire Influx nerveux Axone secondaire synapse

8 P(t) saturation hyper-polarisation -60 mV 0 0,5 ms dépolarisation fréquence seuilstimulus Potentiel daction : « spike » potentiel de repos

9 Durée dun spike : 0,5 à 1 ms Vitesse : 0,5 à 100 m/s Nombre de neurones : 10 à 100 milliards Nombre de connexions : 1000 à par neurone à connexions Plasticité synaptique (Hebb) : dw/dt = SiSj SiSj w Caractéristiques du neurone naturel

10 Du neurone naturel au neurone formel (artificiel) (1) Propagation de linflux nerveux des axones vers les dendrites via des synapses excitatrices ou inhibitrices (2) sommation des influx (« entrées ») au niveau du corps cellulaire (3) Transmission (« sortie ») si la somme dépasse un seuil

11 Neurone artificiel ij f i1 xjxj i yiyi i entréessortie PondérationSommationTransfert y i = f( i ) = f( ij x j + 0 )

12 Application : discrimination camions/autres véhicules Véhicules : 2 descripteurs - x 1 : longueur - x 2 : bruit x1x1 x2x2 y Camion1 Camion2 Car Voiture1 Voiture2 (+remorque) Moto Véhicule

13 x1x1 x2x2 y = = = = = = Camion1 Camion2 Car Voiture1 Voiture2 (+remorque) Moto Véhicule 2 x 1 +x =-47 1 =2 2 =1 1 x1x1 x2x2 y = seuil( 1 x x )

14 Réseau de neurones ensemble de neurones interconnectés paramètres: architecture, type de neurones et de connexions (complètes, feed-forward, locales, poids partagés) Modes dutilisation: (1) apprentissage des paramètres à partir des données (en général en minimisant une fonction derreur) (2) utilisation sur des données nouvelles

15 Différents types de neurone Neurone produit scalaire = x Fonctions dactivation : - à seuil - linéaire - linéaire saturée - sigmoïde Neurone distance = ||x – || Fonction dactivation : - gaussienne

16 Entrées Cellules du réseau Sorties Réseau mono-couche

17 Entrées Sorties Cellules de sortie Cellules cachées Réseau multi-couche Classification Approximation de fonctions non linéaires Modélisation de processus statiques

18 EntréesSorties Connexions récurrentes Réseau bouclé (récurrent) Modélisation et commande de processus dynamiques

19 Apprentissage modification des paramètres du réseau (1)Le réseau est stimulé par lenvironnement (2)Le réseau subit des changements en réponse à cette stimulation (3)Le réseau réagit différemment suite aux modification de sa structure interne Présentation dun exemple Modification des poids

20 Discrimination En dimension 2 : la frontière est une droite déquation 1 x x =0 En dimension 3 : plan 1 2 x2x2 x1x1 En dimension n : hyperplan séparateur i x i + 0 = W.X= 0 W : vecteur des poids (connexions) X : vecteur dentrée

21 Formulation du problème On dispose dune base de données étiquetées base dapprentissage : ensemble (X, y d ) Problème à deux classes C 1, C 2 Vecteurs dentrée de dimension n+1 : X = (1 x 1 x 2 … x n ) un neurone à (n+1) entrées et une sortie y valeurs désirées y d = +1 si X C 1 y d = -1 si X C 2 Trouver les poids W tel que W.X > 0 si X C 1 et W.X < 0 si X C 2 x1x1 x2x2 x n-1 y n xnxn 1

22 Algorithme du Perceptron Initialiser W aléatoirement Apprentissage : (1) Tirer au hasard un exemple X de la base dapprentissage (2) si y d *W(t).X <0 cest à dire si X est mal classé Modifier suivant la relation W(t+1) = W(t) + W avec W = y d *X Incrémenter le compteur de mises à jour t=t+1 Test : Si y d *W(t).X > 0 pour tout X, tous les exemples sont bien appris terminer Sinon : retour en (1)

23 Exemple : fonction booléenne OR x1x1 x2x2 ydyd X1 X2 Exemples X3 X4 x2x2 x1x1

24 Fonctions AND et XOR Lalgorithme du perceptron ne converge que si les classes sont linéairement séparables x2x2 x1x1 x2x2 x1x1

25 Extension à N classes N neurones le neurone i sépare la classe i des autres classes vecteur des valeurs désirées y d = (y d1, y d2, …, y dN ) y1y1 y2y2 yNyN x1x1 x2x xnxn

26 Apprentissage : règle delta Reformulation du perceptron : = X(y d - y) Neurones à fonction dactivation linéaire : y = W.X = X(y d - y)(1) Erreur : E = (y d – y) 2 Trouver les poids optimaux revient à minimiser lerreur par rapport aux poids : On retrouve léquation (1) qui modifie les poids dans la direction opposée du gradient de lerreur

27 Séparabilité linéaire Les régions 1, 2 et 3 sont linéairement séparables (LS) Perceptron mono-couche La région est LS de la région 2 Les régions 2 et 3 ne le sont pas lalgorithme ne converge pas perceptron multi-couche

28 Perceptron multi-couches (MLP) Ajout dune couche de C neurones cachés Projection des données dans un espace de dimension C où elles sont linéairement séparables x1x1 x2x2 x3x3 xdxd y1y1 y2y2 yNyN exemple =

29 Fonction de transfert f : sigmoïde x k (i)= f [ ij x k-1 (j)] Critère : Erreur Quadratique Moyenne < EQM = [y d (i) - x(i)] 2 Minimisation de lEQM pour trouver les meilleurs poids ij Apprentissage par rétro-propagation

30 Tant que EQM > : Propager chaque exemple dans le réseau Rétro-propagation : principe y d1 y d2 y dN = valeurs désirées exemple X = x1x1 x2x2 x3x3 xnxn y1y1 y2y2 yNyN Calculer lerreur en sortie puis le gradient Modifier les poids dans la direction opposée au gradient

31 Rétro-propagation : algorithme 1. Initialiser les ij aléatoirement 2. Propager un exemple X : 3. Rétro-propager : Couche de sortie : Couches cachées : 4. Modifier les poids : ij ij ij avec ij = i x j 5. Si EQM assez petite alors FIN sinon aller en 2

32 Démonstration On souhaite minimiser lerreur : Neurones de sortie : Neurones cachés : ordonc k : couche suivante


Télécharger ppt "Méthodes Connexionnistes Apprentissage Fusion dinformations Lionel PREVOST Laboratoire des Instruments et Systèmes dIle de France Groupe Perception, Automatique."

Présentations similaires


Annonces Google