Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Réseaux de neurones artificiels « programmation par l’exemple » S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Plan de Route – études de cas – nez électronique – capteur logiciel – prévision de charge entrante – modélisation de l’écrouissage — Conclusion : programmation à base d’exemples – l’apprentissage simple – une affaire de noyaux ! – qui se ressemble s’assemble – Réseaux de neurones — perceptrons multicouches — fonctions de bases radiales

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Système d’information pour l’environnement

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Système d’information pour l’environnement Nature des phénomènes beaucoup de données disponibles dépendances complexes : non linéaires, bruités les événements intéressants sont rares

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Système d’information pour l’environnement Nature des phénomènes beaucoup de données disponibles dépendances complexes : non linéaires, bruités les événements intéressants sont rares Problèmes à résoudre validation de données prévision à court terme évaluation de la situation décision.

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Système d’information pour l’environnement Nature des phénomènes beaucoup de données disponibles dépendances complexes : non linéaires, bruités les événements intéressants sont rares Solution programmation à base d’exemple précision de la prévision domaine de validité Problèmes à résoudre validation de données prévision à court terme évaluation de la situation décision.

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Quelques exemples

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Nez électronique Objectifs – remplacer un capteur coûteux par 6 capteurs « bon marché » – détecter certaines situation critiques Données disponibles – 280 points de mesures – 12 variables mesurées (pentes et conductance des capteurs) a priori – phénomènes « réguliers » – coût « absolu » méthode – S.V.M. (un genre de réseau de neurones) – sélection des variables pertinentes par analyse discriminante – définition des zones d’ambiguïté – définition d’un domaine de validité du domaine Résultats

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Nez électronique inconnus Ambigus Classe 1 Classe 2 Classe 3 Régle de décision dans le plan de l’AFD

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Capteur logiciel Objectifs – valider les données d’un capteur physique de NH 4 – remplacer ce capteur pour la détection Données disponibles – 4 années, toutes les heures – 24 variables mesurées (pH, température, conductance, turbidité,…) – beaucoup de données manquantes a priori – phénomènes « réguliers » – coût quadratique méthode – réseau de neurones – sélection des variables pertinentes – prévision de l’erreur de prédiction par un autre réseau de neurones – définition d’un domaine de validité du domaine Résultats

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Capteur logiciel

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 R.P.S. : Consommation journalière en 1988 Consommation en m3 Mois

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Spécifications fonctionnelles Algorithme de prévision Informations météorologiques : - pluie, - température - neige,... consommations passées Informations sociales - jour de la semaine - vacances scolaires - jour ferié,... La consommation du lendemain

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 RNA y = W f ( W f (W X) )

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Spécifications fonctionnelles Algorithme de prévision Informations météorologiques : - pluie, - température - neige,... consommations passées Informations sociales - jour de la semaine - vacances scolaires - jour ferié,... La consommation du lendemain

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Modèle de type “boite noire” Situation : X Information non observable  Y y p = r(x) Algorithme de prévision Informations météorologiques : - pluie, - température - neige,... consommations passées Informations sociales - jour de la semaine - vacances scolaires - jour ferié,... La consommation du lendemain

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Prévision de la classe de qualité du bois But : Minimiser les erreurs de classement Données : –550 points de mesures –Entrées : mesures physique sur les planches –Sorties : point de rupture Classe Informations a priori –nature des classes

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Prévision de la charge entrante Objectifs – prévoir quand et quelle quantité de polluant va arriver à. la station d’épuration Données disponibles – 12 années, toutes les heures – 24 variables mesurées : pluie, charge entrante, température a priori – phénomènes « réguliers » – coût quadratique méthode – prévision de la pluie par un réseau de neurones – prévision de la charge par un second réseau de neurones – structurer les réseaux de neurones à priori – définition d’un domaine de validité du domaine

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Optimisation de la qualité du verre (Saint Gobain) But : Optimiser la fabrication Données : –127 points de mesures (plan d’expérience) –Entrées : quantités de “sables” –Sorties : mesures physiques Informations a priori –pas de variations brusques (monotonie)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Qualité du verre

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Qualité du verre

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Qualité du verre

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage Objectif – prévoir le comportement de l’alliage en fonction des forces Données disponibles – simulations logiciel dans un premier temps – données réelles ensuite a priori – phénomènes temporels à mémoire – coût quadratique méthode – réseau de neurones récurrents (bouclés) – approche incrémentale Résultats

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique Pour une même valeur du couple (F,D) le futur est imprédictible Il faut connaître le passé du système

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage : le modèle « statistique » xx e(t) = e(t-1) + D (f(t)-f(t-1)) z -1 e sp sm f(t) f(t-1) a+b a-b -a Plastique/Elastique 1 Monte/Descend On cherche à « écrire » un programme, qui à partir d’une suite de « forces » calcule la réponse de la pièce

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage : résultats mesure modèle

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Écrouissage : résultats

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Apprendre : des entrées : X, et des sorties : Y But : trouver une dépendance : r(X) Utilisation : pour un X donné : prévoir Y Connaissance : données : (X i,Y i ), i=1,n cout : C (x,r(x),y ) a priori sur la structure du modèle Difficultés : Généralisation données limitées remplir les trous Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Modules logiciels Apprendre : des entrées : X, et des sorties : Y But : trouver une dépendance : r(X) Utilisation : pour un X donné : prévoir Y Connaissance : données : (X i,Y i ), i=1,n cout : C (x,r(x),y ) a priori sur la structure du modèle Difficultés : Généralisation données limitées remplir les trous Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Que peut on faire ?

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Que peut on faire ? – résumer – classer – prévoir

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X1 Les données

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X1

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X1

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe (décider) –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X1 ? +

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X x x x x x x x x x x x x x x

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les Trois problèmes Regrouper des informations et les quantifier : faire des classes – nuées dynamiques, – EM – Cartes auto-organisatrices de Kohonen Classer une nouvelle donnée : affecter à une classe –discrimination linéaire : le neurone formel –les méthodes à base de noyaux –SVM Prévoir le comportement d’une variable : avec ou sans le temps –régression linéaire –RBF –PCM XnXn X1X x x x x x x x x x x x x x x

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Modèle « boite noire » y = r(X) Y = F(X,  ) Prévision ^ erreur X Entrées Observables  Entrées Non Observables Système Réel CRITERE

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les différentes étapes d’une application – Recueil des données brutes – génération de caractéristiques – sélection des caractéristiques pertinentes – étiquetage des classes – conception du classifieur – évaluation du système

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 notations espace des sources J coût d ’une règle de décision (erreur de prédiction)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Conclusion C’est un outil dont il ne faut pas se priver Les méthodes statistiques peuvent dans certains cas apporter des solution originales à des problèmes « difficiles » il faut disposer de données on fait de la programmation à partir de données la notion de « coût » est fondamentale il faut disposer d’une bonne méthodologie il était une fois un concours de prévision...

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Modèle “Boite Noire”... fontion de prévision : r(x) fonction de précision :  (x) Innovation Y = F(X,  ) X  Système Réel Y = r(x) +  (x)  {...Minimise l’erreur de prédiction

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Variance non constante distribution non gaussienne r(x) x P(Y/X=x)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Variance non constante distribution non gaussiènne r(x) x P(Y/X=x)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Cas multi modal (Bishop (94)) E(Y/X) P(x,y) x P(Y/X=x)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Cas multi modal (Bishop (94)) E(Y/X) P(x,y) x P(Y/X=x)

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques cout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques cout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques a prioricout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques a prioricout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques a prioricout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) A lgorithme programme Pas de modèle : – si on veut pourvoir tout apprendre, il faut contrôler la complexité Représentation des incertitudes : – fusion d’informations incertaines Méthodologie et applications : – domaine de validité, intervalle de confiance, heuristiques a prioricout

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Aspects fondamentaux Poser le problème les enjeux théoriques de l'apprentissage Explorer une solution possible la régularisation Développer de nouvelles approches nouveaux algorithmes Étude d'un problème fondamental sélectionner les variables explicatives pertinentes

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Exemple d’application Huile +gaz +eau Bouchons

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Prévoir la taille des bouchons Algorithme de prévision Une forme x historique, taille, profil et points bas de la canalisation température, débit y « date » d’arrivé et taille du prochain bouchon

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 y « date » d’arrivé et taille du prochain bouchon Prévoir la taille des bouchons Algorithme de prévision Une forme x historique, taille, profil et points bas de la canalisation température, débit A : Algorithme d’apprentissage Ensemble d’apprentissage (échantillon) 1

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Prévoir la taille des bouchons Algorithme de prévision Une forme x historique, taille, profil et points bas de la canalisation température, débit A : Algorithme d’apprentissage Ensemble d’apprentissage (échantillon) 2 1 y « date » d’arrivé et taille du prochain bouchon

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Prévoir la taille des bouchons Algorithme de prévision Une forme x historique, taille, profil et points bas de la canalisation température, débit A : Algorithme d’apprentissage Ensemble d’apprentissage (échantillon) A priori sur la nature de la solution y « date » d’arrivé et taille du prochain bouchon

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Quelques exemples de RdF

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Quelques exemples de RdF

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Quelques exemples de RdF – C’est un rond, c’est un carré, (une forme quoi !) – le feu est vert, (je passe, ou je m’arrête ! Classe = action possible) – votre électrocardiogramme est normal : diagnostic = détection : signal ou bruit (inspection : qualité, monitoring) – c’est une facture téléphone (reconnaissance syntaxique : les « règles ») – odeur : c’est une madeleine – caractère - écriture (c’est une lettre, un mot, une phrase, un sens) – parole (forme temporelle) – voix, identification : c’est Chirac aux guignol, localisation d’une source et séparation – visage (vision) – identification : visage + voix + odeur + empreintes : c’est « Chirac » – une voiture (concept imprécis) – il va pleuvoir (fusion de données - décision incertaine) Aspects humains

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Quelques problèmes de RdF – C’est un rond, c’est un carré, Distance avec des formes de références – le feu est vert, (je passe, ou je m’arrête)Représentation des caractéristiques – votre électrocardiogramme est normal : diagnostic = détection : signal ou bruit Cadre aléatoire – c’est une facture téléphone Modèle = les « règles » (même source) – odeur : c’est une madeleine capteur complexe – caractère - écriture complexité de la tâche (c’est une lettre, un mot,...)modélisation par apprentissage – parole (forme temporelle)Temps (système évolutif :environnement) – voix (c’est Chirac aux guignol), complexité de l’espace des caractéristiques – visage (vision)invariances – identificationfusion - (informations hétérogènes) – une voiture (concept imprécis)définition des classes (monitoring) – il va pleuvoir décision aléatoire

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Les différentes phases des algorithmes de reconnaissance des formes source représentation caractéristiques décision (action) capteur Prétraitement extraction de caractéristiques Algorithme de R des F espace des sources espace des caractéristiques espace des décision

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Buts de la RdF Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y » 1. Un algorithme de reconnaissance des formes est une règle de Décision (déterministe dans le cours) 2. Une règle de décision déterministe établie un partitionnement de l’espace des caractéristiques C’est le problème de discrimination « je ne sais pas », « inconnue »

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Règles de décision XnXn X1X x x x x x x x x x x x x x x Frontière de décision fonction b(x)=0 telle que D(x-e) = D(x+e) prototypes XnXn X1X x x x x x x x x x x x x x x Rejet de distance XnXn X1X x x x x x x x x x x x x x x Rejet d’ambiguïté

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Buts de la RdF D : Algorithme de Reconnaissance des Formes Une forme x (vecteur forme des caractéristiques) C’est la forme « y=D(x) » Nous voulons un algorithme de RdF performant

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Coûts : matrice de confusion Vraie classe … k … K Décision L ? ?? Rejet (ambiguïté et distance) Si je décide l’action a l alors que la « vraie » classe est s k Combien coûte cette décision ?

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Coûts : matrice de confusion Vraie classe … k … K Décision L ? ?? Rejet (ambiguïté et distance) Si je décide l’action a l alors que la « vraie » classe est s k Combien coûte cette décision ? La réalité notre décision   Malade pas malade On soigne on ne soigne pas 0 0

Les réseaux de neurones pour l’apprentissage ESSEC, le 28 Juin 2002 Coûts : matrice de confusion Vraie classe … k … K Décision L ? ?? Rejet (ambiguïté et distance) Sur les 1500 « cas » testés, voici les résultats de l’algorithmes de RdF La réalité notre décision   Malade pas malade On soigne on ne soigne pas