La Fusion de Données Multimodale pour la Télévigilance Médicale à Domicile Hamid MEDJAHED Bernadette DORIZZI (TELECOM SudParis) Dan ISTRATE (ESIGETEL)

Présentation au sujet: "La Fusion de Données Multimodale pour la Télévigilance Médicale à Domicile Hamid MEDJAHED Bernadette DORIZZI (TELECOM SudParis) Dan ISTRATE (ESIGETEL)"— Transcription de la présentation:

1 La Fusion de Données Multimodale pour la Télévigilance Médicale à Domicile
Hamid MEDJAHED Bernadette DORIZZI (TELECOM SudParis) Dan ISTRATE (ESIGETEL) Jérôme BOUDY(TELECOM SudParis) François STEENKESTE (INSERM U558) Hamid MEDJAHED

2 Plan Contexte Environnement Multimodal pour la Télévigilance Médicale (EMUTEM) Fusion de données (Système d’inférence flou, Méthode de fusion) Implémentation/ FL-EMUTEM Expérimentations et résultats Conclusions et perspectives Hamid MEDJAHED

3 Contexte (1) La télévigilance médicale Pour quoi? Comment?
Vieillissement de la société 7% des personnes âgées ont un accident et dans 84% des cas c’est une chute Maintenir ces personnes à domicile est un nouveau défi majeur Comment? Systèmes de télévigilance (Indépendance, Confort ,Sécurité) Plusieurs capteurs ou modalités Hamid MEDJAHED

4 Contexte (2) Contraintes pour l’acceptation du système
Sensibilité Détecter le plus de situations critiques Spécificité Faible taux de fausses alarmes Fonctionnement 24h/24h et détection temps réel Contraintes spécifiques au contexte Manque de données expérimentales Manque de connaissances a priori sur : Situations critiques possibles Profil spécifique pour chaque personne Hamid MEDJAHED

5 EMUTEM (1) Environnement intelligent La plateforme EMUTEM
Informations sur l’habitant et son domicile Plusieurs capteurs pour le suivi de la personne et de son environnement Contraintes d’éthique ( vie privée, acceptabilité, …) Modalités qui reflètent mieux la personne et son environnement La plateforme EMUTEM Anason: environnement sonore Sons anormaux et expressions de détresse RFpat: données vitales Données actimétriques et physiologiques Gardien: environnement de la personne Localisation de la personne et ses mouvements Données ambiantes et données domotiques Etat physiologique de la personne EMUTEM Mouvement de la personne Environnement de la personne RFpat Anason Gardien Hamid MEDJAHED

6 EMUTEM (2) Architecture matérielle Capteur IR horizontal
Chambre Capteur IR vertical Cuisine Microphone Salon Capteur ouverture / fermeture Salle de bain Capteur de débit Terminal ambulatoire RFPAT Salle 302 à TMSP Hamid MEDJAHED

7 Passerelle domestique
EMUTEM (3) Architecture logicielle Carte d’acquisition Récepteur Carte son IR Gardien Anason RFpat Labwindows/CVI Visual C++ TCP/IP serveur serveur 2 RS485/RS232 RS232 USB Passerelle domestique Internet/ HTTP D A T Terminal ambulatoire C F SOAP/ SQL courant porteur Passerelle USB Courant porteur Hamid MEDJAHED

8 EMUTEM (4) Environnement sonore Anason 2 microphones
Carte d’acquisition sonore M1: Transformée en ondelettes, seuillage énergétique M2: 24 MFCC, GMM avec 24 Gaussiennes M3.1: 24 MFCC, GMM avec 12 Gaussiennes M3.2: en cours d’intégration Alarme Module de Detection et d’extraction des événements sonores (M1) Module de classification son/parole (M2) parole son Claquement de porte Reconnaissance des son (M3.1) Bris de verre Serrure Chute Reconnaissance de parole (M3.2) Aidez_moi ! Docteur! Hamid MEDJAHED

9 EMUTEM (5) Données vitales RFpat Terminal ambulatoire
Capteurs actimétriques et physiologiques Détecteur de chute Algorithme embarqué (débruitages, conditionnements et mesures) Base de réception Réception radio des données Liaison série avec un PC Données Pouls, Activité, Posture (debout/assis, allongé), Chute, Appel. Patient Terminal ambulatoire Base de Réception Hamid MEDJAHED

10 EMUTEM (6) Gardien Capteurs infrarouges Capteurs d’environnement:
Deux types de capteurs: radio (2,4 GHz) et filaire Zones spécifiques Capteurs IR à champ vertical cC : chambre lit, cA : chambre c3 : salle de bain, c4: couloir, c6: salon c8: cuisine Capteurs IR à champ horizontal : c5, cB Capteurs d’environnement: Température , Ouverture/Fermeture Carte d’acquisition Relie les capteurs IR à la passerelle domotique Connexions à la passerelle domotique USB, radio et courant porteur Cuisine Chambre Salon Salle de bain Chambre Couloir Hamid MEDJAHED

11 Données physiologiques
Base de données Description Son Anason Capteurs IR Gardien Données physiologiques RFPAT Les entrées Heure : variable circulaire [0;24] Pouls : variable quantitative bpm[0;200] Mouvement: variable quantitative [0;100] Posture: variable quantitative binaire{0,1} Chute: variable quantitative binaire {0,1} Appel : variable quantitative binaire {0,1} Date : variable qualitative IR et ambiante: variable quantitative [0,100] Domotique: variable quantitative binaire {0,1} Son: variable qualitative énumérée [0,29 ] Les classes Situation critique => Alarme Situation normale Hamid MEDJAHED

12 Fusion de données - Généralités
Combiner plusieurs modalités ou capteurs pour améliorer la décision Limites d’utilisation d’une seule modalité Informations partielles Observations incertaines et occasionnelles Mauvais fonctionnement d’une modalité -> système hors service Plusieurs modalités (capteurs) -> informations variées, plusieurs tâches achevées Types de fusion Compétitive Plusieurs capteurs pour la même mesure Complémentaire Plusieurs capteurs pour des mesures différentes et indépendantes Coopérative Plusieurs capteurs pour des mesures dépendantes entre elles Hamid MEDJAHED

13 Fusion de données - Généralités
Les niveaux de fusion Sélection de données SD Génération des paramètres GP Sélection des paramètres SP Données Classification C Décision D Capteur A F u s I o n F u s I o n F u s I o n -- - ---- GP SP C D GP C D D Sélection des paramètres SP Sélection de données SD Génération des paramètres GP Classification C Décision D Données Capteur Z Fusion des données brutes Fusion des espaces de représentation (des paramètres) Fusion des décisions (des sorties) Gardien RFpat Anason Fusion & Classification Décision

14 Fusion et … - Ensembles flous
Raisons qui motivent le choix de la logique floue Données imparfaites Origine des informations mesures Incomplètes, fortement bruitées, difficilement mesurables avec précision Données Peu fiables Difficilement quantifiables numériquement Connaissances Classes floues Les classes ne forment plus une partition nette de l’espace, mais une partition floue où le recouvrement est autorisé Description des données La logique floue est bien adaptée pour les différents types de description de données Syntaxique Numérique Contextuelle, conceptuelle ou à base de règles Il existe un bon nombre de techniques à base de logique floue pour la sélection des paramètres en prétraitement ou en extraction Analyse des paramètres discriminants Algorithmes de regroupement Algorithme des C-moyennes floues Conception du discriminateur Il existe des algorithmes qui utilisent le concept flou pour la discrimination Hamid MEDJAHED

15 Système d’inférence flou
Qu’est-ce que la logique floue? Raisonnement humain basé sur des données imprécises ou incomplètes. Appartenance partielle. Ensemble flou U: L’univers du discours. A: un sous-ensemble de U Théorie classique des ensembles: A U Concept d’ensemble flou: degré d’appartenance = valeur de vérité Si =0,30 x appartient à l’ensemble flou A avec un degré d’appartenance de 30% Hamid MEDJAHED

16 Système d’inférence flou - Etapes (1)
Comment ça marche? La Fuzzification Etape de quantification floue des valeurs réelles Utilise des fonctions d’appartenance Souvent réalisée d’une manière itérative et requiert de l'expérience Il faut fuzzifier les entrées et les sorties du processus flou Fuzzification Système d’inférence Defuzzification Entrées Sorties Règles Hamid MEDJAHED

17 Système d’inférence flou – Etapes (2)
Les règles d’inférence Les systèmes à logique floue utilisent une expertise exprimée sous forme d’une base de règles du type: Si….Alors… Un expert (des connaissances) Associer à chaque règle un poids Les opérateurs les plus utilisés : Hamid MEDJAHED

18 Système d’inférence flou – Etapes (3)
Agrégation des règles Mamdani La règle ayant la plus grande valeur de vérité Sugeno La moyenne pondérée Un exemple de l’espace des entrées Poids de la règle k Degré d’appartenance de x à la règle k Sortie de la règle k (vecteur unitaire) Hamid MEDJAHED

19 Système d’inférence flou – Etapes (4)
Defuzzification Discrimination de la valeur de sortie Hamid MEDJAHED

20 Méthode de fusion - Fuzzification (1)
Facteurs de confiance Anason: la vraisemblance de classification RFpat: calculé durant la phase de filtrage /débruitage des signaux vitaux Gardien: calculé en fonction du nombre des capteurs excités Les entrées(1) Anason son Normale: sons de pas( 15), sonnerie de téléphone … Alarme Possible: Bris de verre(21) chute d’objet… Alarme : bris de verre, « à l’aide »(20)… Absence de signal (1) RSB (rapport signal/bruit) Faible Moyen Elevé Hamid MEDJAHED

21 Méthode de fusion - Fuzzification (2)
Les entrées(2) RFpat Posture, Chute, Appel, Batterie: Singleton Pouls Normal Alarme Possible Alarme Les seuils de chaque fonction d’appartenance sont à définir en fonction de chaque personne. Mouvement (Agitation) Immobilité : entre 0% et 5% Repos: entre 5% et 20% Normale 20% et 70% Agité entre 60% et 100% Hamid MEDJAHED

22 Méthode de fusion - Fuzzification (3)
Les entrée (3) Gardien Pour chaque capteur on associe un compteur d’excitation pendant 10 s Un compteur d’excitation globale pour tous les capteurs pendant 3 min Faible Moyen Elevé Température et capteurs F/O Horloge Jour Nuit Hamid MEDJAHED

23 Méthode de fusion - Fuzzification (4)
Les sortie Alarme Une gaussienne Localisation Chambre Salle de bain Couloir Salon Cuisine Hamid MEDJAHED

24 Méthode de fusion - Règles
Les règles Chaque sortie a ses propre règles La fréquence cardiaque observée varie de 10% en posture assise et de 20 à 30% en posture debout par rapport à la fréquence cardiaque en posture allongée. Activité normale Si (Pouls est Elevé) et (Activité est Faible) et (Posture est Allongée) et (CG est faible) alors (Alarme est Alarme) (0.80) Hamid MEDJAHED

25 Méthode de fusion - Defuzzification
Système d’inférence Mamdani ( la règle qui a la sortie maximale ) Defuzzification Le plus petit des max pour la sortie Alarme Le centre de gravité pour la sortie localisation Niveau d’alarme Hamid MEDJAHED

26 Implémentation - FL-EMUTEM
Traitement du flux de données Conception modulaire Fonctionnement online/offline 2 tâches parallèles Ajouter/remplacer des modalités Les règles de la logique floue sont sauvegardés dans un fichier Synchronisation Gardien (G) périodique (1/2 s) RFpat (R) périodique (30 s) /spontané Anason (A) spontané Analyse périodique des entrées par la logique floue Même les tâches spontanées sont ramenées sur la période globale du système (0.5s) Règles T(s) 0 0.5 . Hamid MEDJAHED

27 Expérimentations et résultats (1)
Les normes d’évaluation La sensibilité La spécificité L’erreur de classification La bonne classification VP : vrai positif, VN: vrai négatif, FP : Faux positif, FN : Faux négatif. Hamid MEDJAHED

28 Expérimentations et résultats (2)
Validation de chaque règle par la simulation Validation par la simulation 100 séquences (70 critiques, 30 normales) Résultats Situation Anormale Situation Normale 68 2 1 29 Métrique Valeur (%) Sp 97 Se 96 Err 3 Fc Hamid MEDJAHED

29 Expérimentations et résultats (3)
Base de données 20 scénarios qui reflètent la vie quotidienne des personnes âgées 10 scénarios avec des situations de détresse et 10 autres sans aucune situations de détresse (1200 séquences) Stratégie Plusieurs tests avec différentes combinaisons de règles Une ou plusieurs règles sont supprimées ou ajoutées à l'ensemble présélectionné de règles Résultats la sortie Alarme avec 10 règles 95% de bonne détection la sortie Localisation avec 16 règles 97% de bonne localisation Hamid MEDJAHED

30 Expérimentations et résultats (4)
Synthèse Intelligibilité Formalisme à base de règles Lisibilité et similarité avec le langage naturel Localité  La modification des règles localement ne conduira pas à un changement global de la décision de la plateforme Traçabilité Tracer le chemin utilisé par le système d’inférence flou pour atteindre la décision finale la validation du modèle flou s’en trouve facilitée Flexibilité Ajouter d'autres modalités Affiner localement une règle Hamid MEDJAHED

31 Conclusions et perspectives
Proposition d’une plateforme multimodale pour la télévigilance médicale à domicile FL-EMUTEM Proposition d’une méthode de fusion basée sur la logique floue Mieux adaptée à notre problématique Les résultats sont encourageants Remplacement de l’apprentissage par les connaissances des experts Ne nécessite pas des enregistrements de situation de détresse Implémentation des connaissances linguistiques Souplesse dans le mode de combinaison des entrées Traite l’imprécision et l’incertitude Quatre propriétés importantes: Intelligibilité, localité, traçabilité, flexibilité La collaboration des experts est très importante lors de la conception des règles (inclusive design) Enregistrement d’une base de données multimodale Hamid MEDJAHED

32 Conclusions et perspectives
Rendre le système de télévigilance plus robuste Choix des fonctions d’appartenance Ajouter des règles Combiner la logique floue avec les méthodes statistiques Ajouter d’autres modalités Hamid MEDJAHED

33 FL-EMUTEM - Interface graphique
Merci pour votre attention Hamid MEDJAHED