Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels Laurent JEANPIERRE Equipe MAIA Directeur de thèse : François Charpillet Messieurs les membres du jury, Je vais vous présenter aujourd’hui ma thèse intitulée Apprentissage et Adaptation pour la modélisation stochastique de systèmes dynamiques réels. Durant ces trois dernières années, j’ai eu le plaisir de conduire ces recherches dans l’équipe MAIA, sous la tutelle de mon directeur de thèse, François Charpillet. Avant de rentrer dans le vif du sujet, je voudrais d’abord présenter le cadre global de mon travail… 30.27 03 décembre 2002

Système dynamique Perturbations Système Réel Actions Observations Modèle informatique surveillance, contrôle, système dynamique. processus quelconque Observation Action Perturbations automatiser  modéliser, abstraction observations Actions ? 31.57 03 décembre 2002

Introduction Contributions Cadre applicatif Modèle compréhensible par des utilisateurs Apprentissage de modèle Bibliothèque logicielle Cadre applicatif DIATELIC (ALTIR) Assistance à l’anesthésie (CHU Brabois) Navigation d’un robot mobile notion générale  nombreux problèmes agent situé  localiser et agir architecture logicielle, diagnostic modèle compréhensible apprentissage diagnostic bibliothèque logicielle Approche  3 problèmes : DIATELIC, collaboration ALTIR. Anesthésie collaboration département d’anesthésie du CHU de Brabois. robot mobile. action. 34.17 03 décembre 2002

Plan de la présentation Introduction à DIATELIC Modélisation Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion et perspectives application à Diatelic. expérimentation données retour sur expérience focaliser collaboration modèle statistique perception de l’environnement. intégration apprentissage et d’adaptation Conclusion, perspectives Transition  DIATELIC 35.26 03 décembre 2002

Le projet DIATELIC Introduction 1995 – 2002 Suivi de patients Traités en DPCA Dialysés à domicile Quotidiennement Étude de l’hydratation Joue un rôle central dans la dialyse Non mesurable directement 2002 société partenariat laboratoire. Suivi insuffisance rénale chronique. DPCA  domicile Quotidien Vs Mensuel estimation hydratation Mesurable, rôle central dans la dialyse Transition  cadre global 36.49 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Le projet DIATELIC Présentation schématique Diagnostic Données Traitement Néphrologue hôpital Patient Maison Données/Mois  diagnostic  ajuster traitement cas idéal. Plein de patients médecin plus capable suivi correct.  Limite nb patients Diatelic = intermédiaire 37.43 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Le projet DIATELIC Présentation schématique Traitement Diagnostic patient  données / jour Serveur  diagnostic  alarme médecin  patients besoin Transition  Infrastructure 38.47 Données Alertes Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

DIATELIC Un projet d’envergure Une infrastructure conséquente Un transport de données par réseau Un serveur hébergeant le service Une base de données Des interfaces homme-machine Un appui médical Un module de diagnostic DIATELIC  nombreuses personnes et équipes de recherche MOI  diagnostic Transition  Système dynamique 39.11 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Le projet DIATELIC Surveillance d’un système dynamique Le patient, un système complexe Traitement médical Observation quotidienne Dynamique mal connue Evolution spontanée Modélisation On recherche un cas moyen  Il existe des divergences, des aléas patient = système terriblement complexe. observé fiche renseignements influencer traitement médical. MAIS dynamique mal connue + perturbations externes = bruit  modèle très simplifié, évolution moyenne  Aléas Transition  modèles stochastiques 40.12 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Processus de décision Markovien partiellement observable Un POMDP est un n-uplet {S,A,O,B,T,R} S  Ensemble fini d’états A  Ensemble fini d’actions O  Ensemble fini d’observations B  Fonction d’observation B : OxS  [0; 1] T  Loi de transition probabiliste T : SxAxS  [0; 1] R  Fonction de récompense R : SxA  Ë POMDP caractéristiques nécessaires découvrir état caché expliquer observations. État  plan  but (récompense) Diatelic = pas actions  ignore récompense Transition schéma POMDP 41.07 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Les POMDPs Obs Obs Obs Obs ensemble fini d’états. Dynamique  état évolue.  action en cours. (Unique). état haut à gauche, exécution action  changer d’état. Incertitudes  plusieurs états, avec une probabilité donnée. (modèle moyen) autre action  autre distribution non limité 1 seul état, pas surcharger qqsoit état, percevoir le système. Chaque état influence  flèches observation pas suffisante (petite partie du système) Transition  états 42.24 Obs Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Ensemble fini d’états Problème de diagnostic Un état normal Des états représentant des déviations Poids-sec Hydratation Choix de modélisation : Modélisation des situations « pures » Pas de modélisation des interactions structure = finalité. diagnostic  régulation. existe état « normal ». Autour, situations alarmantes Diatelic: déviations  poids-sec + hydratation choix modéliser situations où 1 seul axes en cause. (interactions complexes, voire impossibles.) Transition  Actions 44.04 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Ensemble fini d’actions Problème de diagnostic Une action modifie l’évolution du système Une action peut être incertaine Dans DIATELIC : « Observer » Reflète notre mauvaise connaissance de l’évolution du patient Chaque état mène aux autres avec une probabilité équivalente « Modifier le poids-sec » Chaque état peut mener à tous les autres Probabilité égale pour chaque état Oublie le passé du patient actions  influencer évolution  fonction de transition  modèle suivre système. DIATELIC : problème difficile car Dynamique mal connue Beaucoup actions (medic+dialyse)  Simplifier Action principale  tous les jours, ignorer le traitement médical. Action alternative  modèle a changé, gommer passé Transition  Modèle graphique 46.04 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Évolution du patient Le modèle DIATELIC État normal Déshydratation Hyperhydratation Poids-sec trop bas 5 états. état central, 2 axes : Hydratation : déshydratation (coma)  hyperhydratation (oedèmes) Orthogonalement, poids-sec. Jaune  PS modèle < PS réel Cyan  PS modèle > PS réel Transition  Perception 47.26 Poids-sec trop haut Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Les perceptions POMDP  Observations discrètes DIATELIC : Observations continues Poids Tension Tension différentielle Ultrafiltration  Adaptation nécessaire POMDP  ensemble fini de symboles discrets. Réalité  continues. Diatelic idem Transition  Discrétisation 48.03 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Discrétisation des valeurs continues Discrétisation par intervalles Effets de seuils gênants Beaucoup de paramètres Utilisation de fonctions continues Expressivité très importante Forme paramétrique fixée Peut nécessiter beaucoup de paramètres discrétisation simple  intervalles toutes valeurs équivalentes  1 symbole  effets de seuil. 1 valeur app 1 intervalle. Petite modif  autre symbole Traduire valeur en probabilité  expressivité Mais base de fonctions  Nb paramètres fini  compromis entre expressivité & paramètres collaboration  combinaison 50.25 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Probabilité du symbole Perceptions floues Peu d’intervalles Sémantique claire Complexité faible Transitions douces Pas d’effet de seuil Bonne tolérance au bruit Filtrer les observations fv(O) = P(v | O) ; vV  distribution de probabilités Fonction d’observation : B* : VxS  [0; 1] B (o,s) = ∑ B*(v, s).fv(o) vV Probabilité du symbole Valeur observée intervalles flous  intervalles larges, sémantique 1 valeur  Pls intervalles, probabilités. transition douce  pas effets de seuil Diagnostic  valeur observées Vs référence  discrétisation en 3 intervalles : trop peu, correcte, et trop. Exemple: Valeur centrale  100% moyenne. +10%  97% moyenne, 3% trop haute (CLICK) +10%  90% moyenne, 10% trop haute (CLICK Transition  Intégration 52.03 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Expression du modèle perceptif Chaque état est décrit : Par son influence sur les observations Indépendamment des autres états Les capteurs sont supposés indépendants La valeur fournie par un capteur ne dépend que de l’état du modèle Chaque capteur est décrit séparément POMDP  fonction OxS[0;1]  états indépendants + hypothèse : capteurs indépendants probabilité chaque capteur dans chaque état, INDEPENDANT. simplicité  réduire Nb paramètres (pas co-dépendance) Transition  modèle volumineux 53.33 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Quelques chiffres De nombreux paramètres : Actions x Etats² probabilités de transition DIATELIC : 50 paramètres Valeurs x Etats probabilités d’observation pour chaque capteur DIATELIC : 60 paramètres DIATELIC : 40 paramètres libres Probabilités de transition fixées Contraintes sur les probabilités Diatelic utilise 110 probas contraintes intégrité probabiliste + transitions fixées  40 probabilités d’observations. Transition  profil 54.49 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Le profil–patient Un profil–patient contient donc Son poids-sec Ses moyennes mobiles Tension artérielle Débit moyen de chaque type de poche Ses probabilités d’observation 41 paramètres à régler par patient ! Apprentissage d’un profil générique Apprentissage des variations profil = variables spécifiques poids-sec, moyennes mobiles (évaluation variations), probabilités d’observation  41 paramètres / patient !!! Aider  profil-type médecin  ajustements / patient Transition  apprentissage profil générique 55.53 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Apprentissage du profil Apprentissage d’un profil générique Algorithme de Baum & Welsh [Rabiner89] Etiquetage d’un corpus Chaque donnée est étiquetée Le modèle est défini par des statistiques Validation manuelle par les médecins Vérification de la sémantique Étude du diagnostic de cas connus corpus partiellement étiqueté  modèles intermédiaires + algorithme de Baum&Welsh modèle cohérent  validation ALTIR  Modèle complet Transition  utilisation modèle 57.09 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Calcul du diagnostic Procédure Forward [Rabiner89] Prédiction Recalage Estimation de l’état actuel Action en cours connue Projection sur l’état au temps suivant Recalage Lecture de l’observation Calcul des états compatibles Affinage de la prédiction calcul = procédure Forward (partie des algorithmes localisation ds modèles Markoviens part. Obs) programmation dynamique  Efficace. Transition  évolution attendue du système  état prédit t+1 Observation Fonction Observation  probabilité être issue chaque état. Loi de Bayes  Proba état sachant Observation Cumul  affinage L’état est lié au précédant. L’état est probable au vu de l’observation.  séquence distributions de probas. diagnostic  espace des problèmes à détecter  Diagnostic. DEMO 0 : Diagnostic !!! Décrire les axes des courbes !!! Transition  adaptation 58.10 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Adaptation à un patient En cas de désaccord du médecin A partir des données observées Spécifique à un patient Permet un meilleur diagnostic futur Avec l’aide d’un médecin Modification manuelle des paramètres Recherche automatique des paramètres Validation du modèle Désaccord  adaptation. (1 patient  améliorer diagnostic des jours futurs)  utiliser données connues du patient. Désaccord  information  meilleur modèle. médecin intervient 3 points : Directement sur les paramètres du patient En modifiant le diagnostic du système En validant le nouveau profil de ce patient. DEMO 1 : MANUEL Préciser les axes des paramètres ! Transition  Méthode automatique 60.55  16H00, 55 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Adaptation : un problème difficile Les conditions théoriques optimales Chaque état est visité Un grand nombre de fois De façon représentative La réalité Le patient évolue  Peu de données Les pathologies sont rares  Tous les états ne sont pas visités Adaptation = problème difficile. Médecine en particulier,  loin conditions optimales algorithmes standards difficilement applicables. En effet, DEMO 2 : Baum&Welsh !!! Parler Pb de saturation !!! Transition  Apprentissage de Diagnostic 02.50 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Descente de gradient Minimise une distance entre Le diagnostic calculé Le diagnostic corrigé Maximise la robustesse Probabilité des observations connaissant le modèle Critère de Baum & Welsh  Fonction complexe Optimisation sans dérivées Paramètres bornés apprentissage = optimisation; + connus  descente de gradient. en effet, fonctions générales minimiser distance entre le diagnostic calculé par le système, et celui proposé par un expert. Diatelic : fonction à minimiser = compromis entre la distance au diagnostic et le proba (Obs | modèle) objectif  empêcher choix paramètres cohérents avec diagnostic demandé, mais peu probable.  fonction compliquée + paramètres bornés  descente par encadrements. Transition  Démo 3 64.27 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Descente de gradient en action DEMO 3 !!! Parler de la post-interprétation !!! Transition  Conclusion 07.11 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Une architecture générique Applications Perceptions Actions But recherché Environnement Localisation Navigation en robotique Infrarouges Sonars Caméra Avancer Reculer Tourner Atteindre une position donnée Position sur une carte DIATELIC Poids Tension Ultrafiltration Dialyse Médicaments Régime Maintenir une hydratation correcte Hydratation Poids-sec Assistance à l’anesthésie EEG ECG EMG Injecter Analgésiques Hypnotiques Curarisants Maintenir un niveau de sommeil optimal Profondeur de sommeil de l’analgésie Présentation  DIATELIC 2 autres  recul, généraliser  bibliothèque générique. Chaque projet  contraintes  enrichir le modèle. navigation  plusieurs milliers d’états, MAIS expérimenter librement planification. anesthésie  aspect temporel. Seul Pb temps-réel. 1 donnée médicale / 5 secondes, ( 24H pour Diatelic, et au choix pour le robot ) Transition  Perspectives 09.42 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Conclusion Une architecture logicielle Adaptée au diagnostic Basée sur l’observation Valeurs discrètes Valeurs continues Facilitant l’interaction avec un expert Expression du diagnostic Expression du modèle Correction du diagnostic IA hors laboratoire  possible, et intéressant d’un point de vue scientifique proposé architecture logicielle (flux d’observations).  adaptée diagnostic, mais pas limitée à ces derniers. modèle bien choisi  Collaboration simple avec expert (Sémantique états + Perceptions) algorithmes d’apprentissage  modifier par le but  compréhension non nécessaire. Transition  généricité 68.16 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Perspectives Planification Adaptation par prédiction Recommandation d’action Boucle fermée (à long terme) Adaptation par prédiction Remplacer l’expert humain Utiliser une prédiction de l’observation comme contrôle Intégrer récompense  but  recommandation (Médical = long terme); Adaptation proposée  intervention active pour correction. Certains domaines  impossible. Exemple: Anesthésie, laps de temps entre 2 données  Anesthésiste peut pas modifier + apprentissage. navigation  trop d’états  humain peut pas ajuster les probas.  Adaptation par prédiction & validation  Pb de prédiction  révision de la dynamique du modèle Transition  Autres perspectives 11.04 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Perspectives Aspects continus Actions Etats Paramétriques Effet durable Etats Gradient de sévérité Dynamique du processus meilleurs aspects continus  primordiale. Anesthésie  actions continues, (intensité + durée) Etats continus  gain : déviations standard  graduel meilleure dynamique du système Ces quelques perspectives terminent donc ma présentation. Je suis bien sûr prêt à répondre à répondre à vos questions… 12.54 Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002

Réduction grâce au Simplex Transition à partir d’un état : Somme des probabilités = 1  1 paramètre déductible des autres  seulement 40 probabilités de transition Observation d’un capteur : Les valeurs sont exclusives Chaque capteur est observé  somme des probabilités = 1  seulement 40 probabilités d’observation Introduction Processus statistiques Perceptions floues Modèle global Apprentissage et adaptation Conclusion 03 décembre 2002