Habiboulaye AMADOU BOUBACAR

Présentation au sujet: "Habiboulaye AMADOU BOUBACAR"— Transcription de la présentation:

1 Habiboulaye AMADOU BOUBACAR
Soutenance de Thèse Classification Dynamique de données non-stationnaires Apprentissage et Suivi de classes évolutives présentée par Habiboulaye AMADOU BOUBACAR Directeur de thèse : Salah MAOUCHE Co-directeur : Stéphane LECŒUCHE 1

2 Thèse Financement de la Thèse: MENRT
Laboratoires de recherche LAGIS-UMR-CNRS 8146, Université Lille 1 Equipe « Ingénierie de la Décision » (ID) Thème « Apprentissage Dynamique et Décision » Ecole des Mines de Douai Dépt «Génie Informatique et Productique » (GIP) Equipe «Systèmes et Processus Industriels » SPI 2

3 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 3

4 Contexte général Apprentissage automatique (Machine Learning)
Conférer des facultés d’apprentissage à un système La plupart de systèmes d’apprentissage Capacités de Mémorisation : Mémoire (Exemple : Apprendre Alphabet : « A, B, C, … ») Capacités de Généralisation : Règles (Exemple : Lecture : « KA TCHARRA ») Et, si les connaissances évoluent dans le temps ? Limitations des systèmes classiques Capacités d’adaptation nécessaires 4

5 Quelques exemples Reconnaissance de visages Diagnostic médical
Vieillissement des individus Évolutions : caractéristiques physiques Diagnostic médical Expansion de cancers Supervision des processus industriels Commutations de modes de fonctionnement Évolutions de modes de fonctionnement Capacités d’adaptation et suivi d’évolutions Mise à jour (continue) des connaissances 5

6 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 6

7 Classification dynamique
Données non-stationnaires Données issues de processus à comportement évolutif Les paramètres des modèles de classes évoluent Evolutions Modifications locales Evolutions (avec glissement) rapide, lente, … Approche : Reconnaissance de Formes Modélisation de l’état du processus Extraction des informations pertinentes Vecteur forme = Données Modélisation des connaissances utiles Classification des données Apprentissage de classes (statiques) Extraction Filtrage Processus Interactions avec l’environnement Entrées Sorties 7

8 Problématique Classification non-supervisée Apprentissage en ligne
Classes d’appartenance des données: non connues Apprentissage en ligne Incorporation récursive des nouvelles informations Mise à jour du modèle de connaissances Modélisation adaptative et suivi de classes Environnement non-stationnaire Apparition de nouvelles classes Fusion de classes Scission de classes Elimination de classes parasites ou obsolètes 8

9 Travaux antérieurs ISODATA (Hall et Ball, 1965; Hall et Khanna, 1977)
Algorithme de "Centres-mobiles" doté des procédures de Fusion, Scission et Elimination Algorithmes à architectures neuronales LAMBDA (Piela et al. 1989) FMMC (Simpson, 1993) CDL (Eltoft, 1998) ESOM (Deng et Kasabov, 2003) Limitations majeures Modèle de classification Processus d’apprentissage 9

10 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 10

11 Formalisation (1/2) Partition dynamique et Modèle de classification
Architecture neuronale Couche d’entrée : données Couche cachée : paramètres Couche de sortie : classes Connexions entre les neurones Faire évoluer l’architecture C1 C2 Cm CM x1 xd xD 11

12 Formalisation (2/2) Modèle de classification
S’adapter correctement à la distribution de données Mise à jour récursive en environnement non-stationnaire Processus de classification dynamique Classification en ligne Affectation de données Mise à jour récursive du modèle de classification 12

13 Critère de similarité Classification en ligne : Critère de similarité
Mesure de similarité : proximité géométrique Critère : Ensemble de classes gagnantes 13

14 Processus d’apprentissage
Processus de classification dynamique Critère de similarité : Règles de décision Procédures de mise à jour du modèle de classification 14

15 Processus d’apprentissage
Règles de décision et Procédures de mise à jour Cas 1 card(win) = 0  Procédure de Création Cas 2 card(win) = 1  Procédure d’Adaptation Cas 3 card(win) ≥ 2  Procédure de Fusion Cas 4 T données  Procédure d’Évaluation Cas 1: Création Cas 3: Fusion Cas 2: Adaptation Cas 4: Elimination 15

16 Classifieurs dynamiques
AUDyC : Modèles de Mélange SAKM : SVM & Méthodes à noyau 16

17 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 17

18 Modèles de mélange Modèles de mélange [Govaert, 2003]
Outils statistiques performants en classification Décomposition de la loi de densité parente Formalisation générale: diverses lois de densité Mélange gaussien : le plus utilisé Approximation justifiée dans la plupart de problèmes Outils mathématiques relativement bien maîtrisés Maximisation de la loi de vraisemblance EM [Dempster et al., 1977]; CEM [Celeux et al., 1995] Compétitive EM [Zhang et al., 2003] : Fusion & Scission Peu d’algorithmes en ligne [Same et al., 2004] 18

19 AUDyC : Modèle de classification
Mélange gaussien: approche multimodale Classe = un ou plusieurs prototypes gaussiens Fonction Objectif : Maximisation de vraisemblance 19

20 AUDyC : Critère de similarité
Fonction d’appartenance Mesure de similarité Classes et prototypes gagnants 20

21 AUDyC : Procédure de Création
Création de classes Initialisation de prototypes Comment déterminer Σini ? Extraire préalablement un Échantillon Hypothèse simplificatrice : 21

22 AUDyC : Procédure d’Adaptation
Adaptation récursive de Prototypes/Classes De la règle de décision : Ajout et retrait d’information sur une fenêtre 22

23 AUDyC : Procédure de Fusion
Problématique d’ambiguïté Si fusion Si Adaptation (a) Erreurs de modélisation Erreurs de modélisation (b) (c) Données ambiguës 23

24 AUDyC : Procédure de scission
Défaut de modélisation Défaut 24

25 Simulation de l’AUDyC Simulation 1 : 2 classes évolutives générées (1000 données/classe) Simulation 2 : 1 classe statique (1000 données), 2 classes évolutives qui fusionnent (2000 données/classe) Limitations de l’AUDyC Modèle paramétrique : données générées suivant la loi gaussienne Complexité algorithmique : grande dimension Capacités d’adaptation en Environnement non-stationnaire : Création de classes, Adaptation et Suivi de classes évolutives, Fusion de classes 25

26 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 26

27 SVM et Méthodes à noyau SVM et Méthodes à noyau [Schölkopf et al., 2003] Outils récents, Résultats attractifs en classification Apprentissage statistique [Vapnik, 1995] Minimisation de risque et Régularisation Espace de Hilbert à noyau reproduisant (RKHS) Estimateur de densité : méthodes à noyau Bonnes capacités de généralisation Modèle non paramétrique (Noyau RBF: universalité) SVM mono-classe en ligne: [Gretton & al., 2003; Desobry et al., 2005] et [Kivinen et al., 2004] 27

28 SAKM : Modèle de classification
Espace RKHS Modèle de classe Fonction objectif Outlier MSV 28

29 SAKM : Critère de similarité
Mesure de similarité à noyau Critère : classes gagnantes 29

30 SAKM : Création et Mise à jour
Création de classes Adaptation de classe Gradient stochastique 30

31 SAKM : Procédure de Fusion
Fusion de classes Critère d’ambiguïté Opération de fusion Calculer 31

32 Simulation du SAKM Simulation 1 : 2 classes évolutives générées (1000 données/classe) Simulation 2 : 1 classe statique (1000 données), 2 classes évolutives qui fusionnent (2000 données/classe) Capacités d’adaptation en Environnement non-stationnaire : Création de classes, Adaptation et Suivi de classes évolutives, Fusion de classes 32

33 Paramètres des algorithmes
AUDyC : Paramètres de modèle SAKM : Paramètres de modèle Paramètres de robustesse (commun) Initialisation des paramètres 33

34 Comparaison : AUDyC vs SAKM
Mélange gaussien multimodal - Approximation, Loi gaussienne Processus d’apprentissage - Modèles successifs exacts - Scission de classes Complexité algorithmique - Polynomial : O(D3xJ2xL) - Ordre 3 avec la dimension Robustesse au bruit - Moins sensible au bruit SAKM Fonctions d’apprentissage à noyau - Distribution inconnue Processus d’apprentissage - Modèles successifs approximatifs - Pas de scission de classes Complexité algorithmique - Polynomial : O(Dxד2xMxL) - Linéaire avec la dimension Robustesse au bruit - Plus sensible au bruit Données de distribution gaussienne et de dimension faible : AUDyC Distribution de données inconnue ou de plus grande dimension : SAKM 34

35 Plan Introduction Classification dynamique : Problématique
Description générique de classifieurs dynamiques Algorithmes de classification dynamique AUDyC (AUto-Adaptive & Dynamical Clustering) SAKM (Self-Adaptive Kernel Machine) Expérimentation Conclusion et Perspectives 35

36 Surveillance de Processus
Projet ADEME (n° ) Surveillance en ligne d’un processus thermique Objectif : Détecter l’encrassement des composants Intérêt des techniques de classification dynamique Filtre Réchauffeur Echangeur Système client Pompe Débit chaud froid Pressure Vase 36

37 Surveillance de Processus
Mise au point du système de surveillance Modélisation de l’état du processus : vecteur forme Rapport de pressions : ΔPcomp. / ΔPpompe Sensibilité aux pertes de pression au sein du composant Modélisation en ligne du mode de fonctionnement Algorithmes de classification dynamique Apprentissage continu des modes et suivi d’évolutions Suivre le mode courant du processus Labelliser les nouveaux modes détectés - Modes de défaut - Encrassement simulé par des vannes Détection de l’encrassement Mode courant similaire au mode normal : Pas d’alerte Mode courant évolue vers un mode de défaut : Alerte 37

38 Résultats AUDyC SAKM Apprentissage des modes Apprentissage des modes
Suivi d’évolution et détection SAKM Apprentissage des modes Suivi d’évolution et détection EENC MFN FENC RENC EENC MFN FENC RENC 38

39 Surveillance de Processus
Mise au point d’un prototype opérationnel Interface Utilisateur : Logiciel réalisé avec Python 39

40 Conclusion Apprentissage Automatique : Classification dynamique
Difficultés : apprendre les connaissances de façon continue Nécessité : modélisation adaptative et du suivi d’évolutions Algorithmes originaux de classification dynamique Techniques avancées de traitement de signal et de RdF Capacités d’adaptation en environnement non-stationnaire Mise au point de SAD opérationnels Couplage avec des outils supplémentaires (outils détection) Utilisables dans divers domaines (Diagnostic médical, Maintenance industrielle, Alerte sismique, …) 40

41 Perspectives Amélioration des algorithmes proposés
SAKM : Règle de scission, Règle de mise à jour exacte AUDyC : Mise à jour de la famille exponentielle Approfondir l’étude théorique pour les deux algorithmes Aide au réglage des paramètres Compléter l’étude de convergence Validation sur d’autres applications Supervision des processus industriels Suivi de Processus hybrides Détection de rupture (exemple: dans les signaux audio) 41

42 What else ? 42

43 http://babarazi.free.fr Merci pour votre attention
Je suis à votre disposition 43