La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Classification Dynamique de données non-stationnaires Apprentissage et Suivi de classes évolutives Directeur de thèse : Salah MAOUCHE Co-directeur: Stéphane.

Présentations similaires


Présentation au sujet: "1 Classification Dynamique de données non-stationnaires Apprentissage et Suivi de classes évolutives Directeur de thèse : Salah MAOUCHE Co-directeur: Stéphane."— Transcription de la présentation:

1 1 Classification Dynamique de données non-stationnaires Apprentissage et Suivi de classes évolutives Directeur de thèse : Salah MAOUCHE Co-directeur: Stéphane LECŒUCHE Soutenance de Thèse Habiboulaye AMADOU BOUBACAR présentée par

2 2 Financement de la Thèse: MENRT Laboratoires de recherche LAGIS-UMR-CNRS 8146, Université Lille 1 Equipe « Ingénierie de la Décision » (ID) Thème « Apprentissage Dynamique et Décision » Ecole des Mines de Douai Dépt «Génie Informatique et Productique » (GIP) Equipe «Systèmes et Processus Industriels » SPI Thèse

3 3 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

4 4 Contexte général Apprentissage automatique (Machine Learning) Conférer des facultés dapprentissage à un système La plupart de systèmes dapprentissage Capacités de Mémorisation : Mémoire (Exemple : Apprendre Alphabet : « A, B, C, … ») Capacités de Généralisation : Règles (Exemple : Lecture : « KA TCHARRA ») Et, si les connaissances évoluent dans le temps ? Limitations des systèmes classiques Capacités dadaptation nécessaires

5 5 Reconnaissance de visages Vieillissement des individus Évolutions : caractéristiques physiques Diagnostic médical Expansion de cancers Supervision des processus industriels Commutations de modes de fonctionnement Évolutions de modes de fonctionnement Capacités dadaptation et suivi dévolutions Mise à jour (continue) des connaissances Quelques exemples

6 6 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

7 7 Classification dynamique Approche : Reconnaissance de Formes 1.Modélisation de létat du processus Extraction des informations pertinentes Vecteur forme = Données 2.Modélisation des connaissances utiles Classification des données Apprentissage de classes (statiques) Interactions avec lenvironnement Entrées Sorties Processus Données non-stationnaires Données issues de processus à comportement évolutif Les paramètres des modèles de classes évoluent Evolutions Modifications locales Evolutions (avec glissement) rapide, lente, … Extraction Filtrage

8 8 Classification non-supervisée Classes dappartenance des données: non connues Apprentissage en ligne Incorporation récursive des nouvelles informations Mise à jour du modèle de connaissances Modélisation adaptative et suivi de classes Environnement non-stationnaire Apparition de nouvelles classes Fusion de classes Scission de classes Elimination de classes parasites ou obsolètes Problématique

9 9 Travaux antérieurs ISODATA (Hall et Ball, 1965; Hall et Khanna, 1977) Algorithme de "Centres-mobiles" doté des procédures de Fusion, Scission et Elimination Algorithmes à architectures neuronales LAMBDA (Piela et al. 1989) FMMC (Simpson, 1993) CDL (Eltoft, 1998) ESOM (Deng et Kasabov, 2003) Limitations majeures Modèle de classification Processus dapprentissage

10 10 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

11 11 Partition dynamique et Modèle de classification Architecture neuronale Couche dentrée : données Couche cachée : paramètres Couche de sortie : classes Connexions entre les neurones Faire évoluer larchitecture x1x1 xdxd xDxD C1C1 C2C2 CmCm CMCM Formalisation (1/2)

12 12 Modèle de classification Sadapter correctement à la distribution de données Mise à jour récursive en environnement non-stationnaire Processus de classification dynamique Formalisation (2/2) Classification en ligne Affectation de données Mise à jour récursive du modèle de classification

13 13 Classification en ligne : Critère de similarité Mesure de similarité : proximité géométrique Critère : Ensemble de classes gagnantes Critère de similarité

14 14 Processus dapprentissage Processus de classification dynamique Critère de similarité : Règles de décision Procédures de mise à jour du modèle de classification

15 15 Règles de décision et Procédures de mise à jour Cas 1card( win ) = 0 Procédure de Création Cas 2card( win ) = 1 Procédure dAdaptation Cas 3card( win ) 2 Procédure de Fusion Cas 4T données Procédure dÉvaluation Cas 1: CréationCas 3: Fusion Cas 2: Adaptation Cas 4: Elimination Processus dapprentissage

16 16 Classifieurs dynamiques AUDyC : Modèles de Mélange SAKM : SVM & Méthodes à noyau

17 17 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

18 18 Modèles de mélange Modèles de mélange [Govaert, 2003] Outils statistiques performants en classification Décomposition de la loi de densité parente Formalisation générale: diverses lois de densité Mélange gaussien : le plus utilisé Approximation justifiée dans la plupart de problèmes Outils mathématiques relativement bien maîtrisés Maximisation de la loi de vraisemblance EM [Dempster et al., 1977]; CEM [Celeux et al., 1995] Compétitive EM [Zhang et al., 2003] : Fusion & Scission Peu dalgorithmes en ligne [Same et al., 2004]

19 19 Mélange gaussien: approche multimodale Classe = un ou plusieurs prototypes gaussiens Fonction Objectif : Maximisation de vraisemblance AUDyC : Modèle de classification

20 20 AUDyC : Critère de similarité Fonction dappartenance Mesure de similarité Classes et prototypes gagnants

21 21 AUDyC : Procédure de Création Création de classes Initialisation de prototypes Comment déterminer Σ ini ? Extraire préalablement un Échantillon Hypothèse simplificatrice :

22 22 Adaptation récursive de Prototypes/Classes De la règle de décision : Ajout et retrait dinformation sur une fenêtre AUDyC : Procédure dAdaptation

23 23 (c) (b) (a) AUDyC : Procédure de Fusion Données ambiguës Erreurs de modélisation Problématique dambiguïté Si fusion Si Adaptation

24 24 AUDyC : Procédure de scission Défaut de modélisation Défaut

25 25 Simulation de lAUDyC Capacités dadaptation en Environnement non-stationnaire : Création de classes, Adaptation et Suivi de classes évolutives, Fusion de classes Simulation 1 : 2 classes évolutives générées (1000 données/classe) Simulation 2 : 1 classe statique (1000 données), 2 classes évolutives qui fusionnent (2000 données/classe) Limitations de lAUDyC Modèle paramétrique : données générées suivant la loi gaussienne Complexité algorithmique : grande dimension

26 26 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

27 27 SVM et Méthodes à noyau SVM et Méthodes à noyau [Schölkopf et al., 2003] Outils récents, Résultats attractifs en classification Apprentissage statistique [Vapnik, 1995] Minimisation de risque et Régularisation Espace de Hilbert à noyau reproduisant (RKHS) Estimateur de densité : méthodes à noyau Bonnes capacités de généralisation Modèle non paramétrique (Noyau RBF: universalité) SVM mono-classe en ligne: [Gretton & al., 2003; Desobry et al., 2005] et [Kivinen et al., 2004]

28 28 SAKM : Modèle de classification Espace RKHS Modèle de classe Fonction objectif Outlier MSV

29 29 SAKM : Critère de similarité Mesure de similarité à noyau Critère : classes gagnantes

30 30 Création de classes Adaptation de classe Gradient stochastique SAKM : Création et Mise à jour

31 31 Fusion de classes Critère dambiguïté Opération de fusion Calculer SAKM : Procédure de Fusion

32 32 Simulation du SAKM Simulation 1 : 2 classes évolutives générées (1000 données/classe) Simulation 2 : 1 classe statique (1000 données), 2 classes évolutives qui fusionnent (2000 données/classe) Capacités dadaptation en Environnement non-stationnaire : Création de classes, Adaptation et Suivi de classes évolutives, Fusion de classes

33 33 Paramètres des algorithmes AUDyC : Paramètres de modèle SAKM : Paramètres de modèle Paramètres de robustesse (commun) Initialisation des paramètres

34 34 Comparaison : AUDyC vs SAKM AUDyC Mélange gaussien multimodal - Approximation, Loi gaussienne Processus dapprentissage - Modèles successifs exacts - Scission de classes Complexité algorithmique - Polynomial : O(D 3 xJ 2 xL) - Ordre 3 avec la dimension Robustesse au bruit - Moins sensible au bruit SAKM Fonctions dapprentissage à noyau - Distribution inconnue Processus dapprentissage - Modèles successifs approximatifs - Pas de scission de classes Complexité algorithmique - Polynomial : O(Dxד 2 xMxL) - Linéaire avec la dimension Robustesse au bruit - Plus sensible au bruit Données de distribution gaussienne et de dimension faible : AUDyC Distribution de données inconnue ou de plus grande dimension : SAKM

35 35 Plan Introduction Classification dynamique : Problématique Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives

36 36 Surveillance de Processus Projet ADEME (n° ) Surveillance en ligne dun processus thermique Objectif : Détecter lencrassement des composants Intérêt des techniques de classification dynamique Filtre RéchauffeurEchangeur Système client Pompe Débit chaud Débit froid Pressure Vase

37 37 Mise au point du système de surveillance Modélisation de létat du processus : vecteur forme Rapport de pressions : ΔPcomp. / ΔPpompe Sensibilité aux pertes de pression au sein du composant Modélisation en ligne du mode de fonctionnement Algorithmes de classification dynamique Apprentissage continu des modes et suivi dévolutions Suivre le mode courant du processus Labelliser les nouveaux modes détectés - Modes de défaut - Encrassement simulé par des vannes Détection de lencrassement Mode courant similaire au mode normal : Pas dalerte Mode courant évolue vers un mode de défaut : Alerte Surveillance de Processus

38 38 Résultats AUDyC Apprentissage des modes Suivi dévolution et détection SAKM Apprentissage des modes Suivi dévolution et détection E ENC M FN F ENC R ENC E ENC M FN F ENC R ENC

39 39 Surveillance de Processus Mise au point dun prototype opérationnel Interface Utilisateur : Logiciel réalisé avec Python

40 40 Conclusion Apprentissage Automatique : Classification dynamique Difficultés : apprendre les connaissances de façon continue Nécessité : modélisation adaptative et du suivi dévolutions Algorithmes originaux de classification dynamique Techniques avancées de traitement de signal et de RdF Capacités dadaptation en environnement non-stationnaire Mise au point de SAD opérationnels Couplage avec des outils supplémentaires (outils détection) Utilisables dans divers domaines (Diagnostic médical, Maintenance industrielle, Alerte sismique, …)

41 41 Perspectives Amélioration des algorithmes proposés SAKM : Règle de scission, Règle de mise à jour exacte AUDyC : Mise à jour de la famille exponentielle Approfondir létude théorique pour les deux algorithmes Aide au réglage des paramètres Compléter létude de convergence Validation sur dautres applications Supervision des processus industriels Suivi de Processus hybrides Détection de rupture (exemple: dans les signaux audio)

42 42 What else ?

43 43 Merci pour votre attention Je suis à votre disposition


Télécharger ppt "1 Classification Dynamique de données non-stationnaires Apprentissage et Suivi de classes évolutives Directeur de thèse : Salah MAOUCHE Co-directeur: Stéphane."

Présentations similaires


Annonces Google