De l’utilisation des mesures de confiance Olivier COLOT Fusion de données De l’utilisation des mesures de confiance Olivier COLOT « Ce que les hommes veulent en fait, ce n’est pas la connaissance, c’est la certitude. » Bertrand Russel

Once upon a time the data fusion… Road book Once upon a time the data fusion… Introduction (« Cé koi leu problème? », « A koi sa sair? ») Présentation des problématiques Imprécision et incertitude Fusion d’informations imparfaites: méthodes, techniques, champs d’application,... Exemples

Objectifs  Des éléments relatifs à la « fusion » tant sur les aspects « méthodes » que sur les aspects « applications ».  Intérêt de la fusion de données dans de nombreux domaines

 Sources conflictuelles Petit exemple introductif ! Désaccord  Sources conflictuelles Comment résoudre le problème? Pamela E.T. ? George or E.T. Who is it ? 1) Pamela Anderson? 2) George W. Bush? 3) E.T.? 4) The lord of the rings? Décision Traitement de l’information Modélisation Agrégation (Fusion) Règle(s) de décision Segmentation, Analyse, RdF Panel d’experts (Plusieurs capteurs) Objectif: Prendre une décision

« Petits papiers et bouts de crayon! » Petit exercice introductif! « Petits papiers et bouts de crayon! »

Quelle est ma taille en cm : Petit exercice introductif! E1 Quelle est ma taille en cm : E2 E3  A partir des informations données par E1, E2 et E3, quelle est ma taille en cm :

Petit exercice introductif! Information combinée: Synthèse de la connaissance Combinaison (fusion) Source 1 Source 2 Source 4 Source 3 Informations

Fusion? Vous avez dit « Fusion »? Souvenez-vous! Et ça, ça ne vous rappelle rien? Et bien d’autres exemples encore! avec Règle de Bayes Réseau de neurones

Fusion? Vous avez dit « Fusion »? « When you use information from one source, it’s plagiarism; When you use information from many, it’s information fusion.» Belur Dasarathy « La fusion d’informations consiste à combiner des informations issues de plusieurs sources afin d’améliorer la prise de décision » Isabelle Bloch

Pourquoi la fusion? XXIème siècle: Le siècle de l’information « We are drowning in information but starved for knowledge. This level of information is clearly impossible to be handled by present means. Uncontrolled and unorganized information is no longer a resource in an information society, instead it becomes the enemy. » John Naisbitt, in Megatrends, 1982

Pourquoi la fusion? XXIème siècle: On dispose d'informations: Le siècle de l’information On dispose d'informations: de plus en plus riches et complexes, de nature et de fiabilité différentes. Systèmes d'information, de communication ou de commande Aider ou coopérer avec les opérationnels du domaine applicatif (les utilisateurs) dans le but de décider. Système interactif avec l'utilisateur  Pilotage de certaines parties du systèmes modification des confiances sur l'exhaustivité d'un ensemble d'hypothèses envisagées ou en définissant en temps réel un équilibre entre différents critères de décision. Système doit pouvoir fournir des informations complémentaires  sur les conflits entre sources d’informations par exemple

Intérêt de la fusion Accroissement du nombre de sources d'information développement de nouveaux capteurs (ex : imagerie médicale)IRM+angiographie; Scanner+echographie développements de nouveaux algorithmes augmentation de la puissance de calcul Besoin en information de haut niveau Intégration de l'opérateur humain dans la boucle

Pourquoi la fusion? Combinaison de données issues de différentes sources, en vue de répondre à une certaine question (valeur d’un paramètre). Problématique récente : e.g. multiplication des capteurs, systèmes décentralisés,… Domaines d’applications : Fusion multi-capteurs (application militaire, télédétection, etc.) Systèmes d’interrogation de bases de données multiples Combinaison d’avis d’experts Difficulté du problème : données incomplètes, incertaines, hétérogènes, issues de sources de fiabilité inconnue, éventuellement dépendantes. Cadres théoriques : probabilités, possibilités, croyances.

Interaction système-opérateur Système autonome

Interaction système-opérateur Système télé-opéré

Interaction système-opérateur

Cadre de la fusion Modélisation de la connaissance sur un système réel mais dont on ne connaît qu'une image partielle et/ou déformée. Fusion dirigée par les buts reconstruction la plus complète et précise décision la plus fiable qu’en se fondant sur une seule source d’information

Principes de base de la fusion Techniques de fusion de données permettent: 1- de mettre à profit un nombre maximum de données, en tenant compte de la diversité de leurs imperfections 2- en tentant de pallier les faiblesses de certaines avec les point forts des autres 3- dans le but de fournir une information élaborée, dédiée et pertinente vis-à-vis du contexte. Le processus global 1- Situation réelle est observée par un ensemble de capteurs de plus ou moins haut niveau fournissant plusieurs vues déformées de la situation (ex.: convolution par une lentille optique). 2- Informations sont alors collectées et exploitées conjointement par un traitement de fusion permettant d’estimer la situation réelle.

De l’information à la décision Systèmes de fusion de données 1- s'appuient principalement sur des étapes de modélisation 2- de recalage 3- et de combinaison (ou fusion, ou agrégation) d'informations 4- puis de décision

De l’information à la décision Information et représentation mathématique permet de l'exploiter constitue l'étape de modélisation de l'information réflexion sur le sens de chacune des informations manipulées modélisation doit être adaptée de façon fidèle au sens de l'information réellement disponible fidélité de modélisation conduit à des problèmes d'hétérogénéité ou d'hybridité (plus l'ensemble des informations dont on veut tenir compte est large, plus on rencontre les problèmes de représentation des données et plus ils deviennent cruciaux)

En résumé Points essentiels: Mécanismes de modélisation et éventuellement recalage Mécanisme de fusion (éventuellement données hétérogènes) Prise en compte de la notion de fidélité entre le sens de l'information réellement disponible et le sens de la représentation mathématique (pertinence, confiance, fiabilité) Règles de décision s’appuyant sur les résultats de la fusion Remarque: Prise en compte de la fiabilité des sources d’information lors de la modélisation par exemple, si cela est possible

Où? Quand? Comment?

Domaines d’application Applications militaires : détection, identification et suivi de cibles surveillance des champs de bataille détection de mines enfouies ou sous-marines Applications aéronautiques et spatiales : imagerie satellitaire commande d'engins spatiaux (fusées et robots) Applications médicales : observation du corps et des pathologies aide au geste et au diagnostic médical Robotique et véhicules intelligents robots d'assistance humaine (fauteuils roulants, véhicule automobile, machines agricoles,…) robots autonomes en environnement difficile (robots sous-marins, robots d'intervention, micro-robots,…) Assistance à l'opérateur humain : aide au diagnostic salle de contrôle (aiguilleurs du ciel)

Pour se comprendre… Sources d'information capteurs physiques : type images : caméra, télémètre, radar, images IRM, images ultrason type signaux : température, vitesse, accélération, temps de vol… capteurs logiques (analogiques ou numériques): modules de traitement de signaux modules de traitement d'images connaissances a priori : objets et leurs caractéristiques scène observée (cartes, atlas...) règles d'évolution...

« Matière brute » et « produits manipulés » Type des données Mesures de type numérique : distance niveau de gris durée d'un signal … Décision de type symbolique : situation dangereuse existence d'une lésion cible offensive...

« Matière brute » et « produits manipulés » Données numériques : Valeur absolue (longueur, température) Valeur relative (%)  Les plus fréquentes Données ordinales : Ranger des élèves du plus petit au plus grand Echelle de salaires (petit, moyen, élevé)  on peut définir un ordre A<B<C Données nominales : Couleur des yeux (brun, vert, bleu) pas d’autres comparaisons possibles que A=B ou A≠B Données binaires : Présence ou absence d’une caractéristique, sexe,…  cas particulier des ordinales ou nominales Données symboliques : Carte IGN Relation entre entités Remarque: données peuvent être manquantes

Informations numériques « Matière brute » et « produits manipulés » Informations numériques informations données sous forme de nombre espace de définition W ordonné exemple : la largeur du véhicule est de 1,5m X

Informations symboliques « Matière brute » et « produits manipulés » Informations symboliques informations données sous forme de symboles, de propositions, de règles espace de définition W non ordonné H1 H2 H4 H3 H1 : l’objet est une voiture H2 : l’objet est un camion H3 : l’objet est une moto H4 : l’objet est un piéton

Hypothèses et propositions « Matière brute » et « produits manipulés » Hypothèses et propositions Hypothèses Hi Eléments de l'ensemble de définition W = {H1, H2, …, Hn}  hypothèses singletons (exclusives, exhaustives) Propositions Ai Eléments de l'ensemble 2W des parties de W. 2W = {, {H1}, {H2}, …, {H1, H2}, W}

Rapprochement avec la théorie des ensembles Vision ensembliste Rapprochement avec la théorie des ensembles OU logique : union  ET logique : intersection  Proposition : union d'hypothèses  OU entre les hypothèses {Hi , Hj}  Hi  Hj  hypothèse composite noté Hi, Hj ou Hij

Conversion numérique-symbolique Utilisation d'un modèle de conversion

Imperfections des données Caractéristiques des données manipulées Imperfections des données Les capteurs et les algorithmes «parfaits» n’existent pas. imprécision incertitude retard manque de données Nécessité d’une modélisation des erreurs

Caractéristiques des données manipulées Exemple de l’imagerie Image: entachée de bruit  conditions d’acquisition, chaîne de mesure, quantification Conséquences:  sur les couleurs par exemple  sur l’homogénéité des régions, des textures  sur les contours  … donc…. imprécisions et incertitudes Conséquences sur les traitements et résultats:  risques d’erreur  interprétation(s) faussée(s)

Caractéristiques des données manipulées Le monde n’est pas parfait….les informations non plus! «Je mesure environ 1m80!» «Il pleuvra peut-être demain!» «Il pleuvra peut-être beaucoup demain!» Imprécision Incertitude Les 2 pour corser le tout! Subjectivité? Répétition des mesures  valeurs différentes (Incertitude) Causes Variations des conditions de mesure (variables d’influence) Imperfection des capteurs (bruit électronique,…) Une valeur unique ne représente pas la réalité La fusion doit permettre de tenir compte des imprécisions et des incertitudes

Caractéristiques des données manipulées Différentes formes d’imperfection : Imprécision : traduit le manque d’exactitude de la connaissance (en terme quantitatif) Incertitude : traduit le degré de conformité de l’information à la réalité Incomplétude : absence d’information apportée par une source sur certains aspects du problème Ambiguïté : information fournie peut conduire à 2 interprétations différentes Conflit : plusieurs informations conduisent à des interprétations contradictoires

Imprécision, incertitude On peut diminuer l’incertitude d’une proposition en augmentant son imprécision. Exemple : « Le prof mesure probablement plus de 1.70 m »  « Le prof mesure très certainement plus de 1.50 m » Autre forme d’imperfection de l’information : ambiguïté, flou Exemple : « Le prof est grand » Nécessite une extension de la théorie des ensembles  Théorie des sous-ensembles flous.

Caractéristiques des données manipulées Imprécision Estimation de la différence entre la mesure d provenant du capteur et la valeur réelle inconnue X à mesurer. X d Exemples : «Je mesure environ 180cm!» « La taille du prof est 180cm plus ou moins 2cm » Cela signifie : « La réelle valeur X de la taille du prof est dans l’intervalle [178cm ; 182cm] »

Caractéristiques des données manipulées Incertitude Doute sur la réalité des différentes hypothèses Hi de l'ensemble  (confiance) Exemples : «Il pleuvra peut-être demain!» La probabilité que l’individu observé soit G.W.B. est de 90%.

Modélisation de la méconnaissance (ignorance) Représentation du fait que l'on ne sait pas modélisation implicite (probabilités) modélisation explicite (masse de croyance sur le référentiel) Exemple : jeu de pile ou face : P(pile) = 50%, P(face) = 50% Joueriez vous votre vie sur un toss?

Conflit des sources d’information Des sources d’information peuvent être en désaccord et générer ainsi un conflit dans le processus de fusion. Question: Peut-on gérer ce conflit? Si oui, comment? Pamela E.T. ? George or E.T. désaccord  Certaines théories permettent la gestion du conflit

Fusion Principe Estimation d'une donnée par la combinaison de plusieurs données Estimation des erreurs associées (précision, certitude)

Fusion Sources d'information Sources redondantes : même espace de définition (espace de discernement) ex : estimation distance d par capteur à ultrasons et télémètre laser; Sources complémentaires : espaces de définition différents ex : détection d'une lésion par sa forme et sa position

Fusion Sources concordantes les informations données par les deux sources sont compatibles ex : source 1 : la mesure d  [12,15] source 2 : la mesure d  [10,13] la qualité des informations est améliorée S1 12m 15m S2 13m 10m Fusion : S1∩S2  Vérité dans S1∩S2

Fusion Sources discordantes les informations données par les deux sources sont incompatibles ex : source 1 : la mesure d  [12,15] source 2 : la mesure d  [9,11]  discordance (conflit) si les données sont fusionnées, la qualité du résultat est dégradée 12m S1 S2 15m 9m 11m S1∩S2= Ø Fusion :  Vérité dans S1S2 9m 15m

Fusion Conflit Causes du conflit : capteurs physiques : fonctionnement dégradé (dysfonctionnement d’un capteur) capteurs logiques : mauvaise configuration choix des hypothèses (mise en correspondance...) Modélisation du conflit utilisation d'une mesure

Fusion Décision Choix d'une hypothèse ou d'une valeur numérique Prise de risque Exemple en détection : faux positifs faux négatifs Définition d'un critère de choix compromis "précision - certitude" maximisation d'une mesure Décision avec ou sans rejet

Architecture de fusion Niveau de fusion : niveau signal / pixel niveau attribut niveau objet niveau décision Mécanismes : conversion numérique/symbolique mise en correspondance combinaison décision

« M’ouaaais... mais en pratique??? » = =

Exemples de problème de fusion

« J’ai la mémoire qui flanche, j’me souviens plus très bien… » RDF « J’ai la mémoire qui flanche, j’me souviens plus très bien… » Reconnaissance d'un objet : } capteur 1 : rouge ou bleu Même espace de discernement capteur 2 : rouge ou bleu Cadres de discernement différents capteur 3 : rond ou carré

« Alea jacta est ! » Face du dé Librement inspiré de M. Rombaut (LIS – UJF, Grenoble)

« ô mon bateau, ô ô ô ô! » CRM, Canada SAR Fusion Signature IR Reconnaissance

Objet Volant, Naviguant ou Immobile (OVNI)? Image thermique simple d’un ? obtenue à l’aide d’un système imageur infrarouge aérien à plusieurs éléments. Chaque carré représente le rayonnement reçu par un élément détecteur. Image fusionnée de la même cible constituée de la combinaison de 87 images séquentielles, chacune d'elles étant semblable à l'image du haut. La résolution, à la fois spatiale et thermique, a été grandement améliorée; on peut voir clairement les points chauds et on commence à pouvoir identifier le navire. Reco. = ???!!! Reco. = possible CRDV Canada

Big Brother is watching you! Image optique 1992 Image radar1992 ONERA Plan 1958 Fusion probabiliste (Bayes + MAP) Fusion évidentielle Vérité terrain 1992

IRM T1 T1Gado T2 Segmentation de coupes IRM et reconstruction 3D Contexte de l’étude Imagerie médicale Aide au diagnostic Suivi de patients atteints de cancers T2 T1 T1Gado

IRM T1Gado Segmentation par différents modèles T2 Conflit

IRM

Détection de complexes K EEG étiquetage subjectif par 5 experts 0= onde delta 1 = complexe K Qui a raison? D’après T. Denœux (Heudiasyc – UTC)

Surveillance acoustique d’appareils à pression II III I : source mineure II : source active III : source critique D’après T. Denœux (Heudiasyc – UTC)

Comparaison des 2 experts Gestion de l’imprécis et de l’incertain Comparaison des 2 experts étiquetage incertain et imprécis D’après T. Denœux (Heudiasyc – UTC)

Détection d’obstacles (INRETS - LIVIC)

Détection d’obstacles (INRETS - LIVIC)

Détection d’obstacles (INRETS - LIVIC)

Accrochez-vous…on va décoller!!!

Gestion de l’imprécis et de l’incertain: Les théories en compétition

Incertitude, imprécision Gestion de l’imprécis et de l’incertain Incertitude, imprécision Ensemble W : ensemble (continu ou discret) d’hypothèses, de possibilités, de réponses possibles à une certaine question. y=réponse correcte. La valeur de y peut être connue (y=w , w  W) inconnue (y  W) partiellement connue (cas le plus fréquent) Problème : comment modéliser des connaissances partielles, et les utiliser dans des raisonnements ?

Incertitude, imprécision Gestion de l’imprécis et de l’incertain Incertitude, imprécision Modèle général : élément d’information = (A  W , confiance) A=ensemble de valeurs possibles pour y confiance : confiance dans le fait que yA. Deux formes principales d’imperfection de l’information : imprécision : card(A)>1 incertitude : confiance non absolue (doute) dans la véracité de l’information Exemples : « Pierre mesure entre 1.70 m et 1.90 m » « Pierre mesure probablement 1.80 m » « Pierre mesure probablement entre 1.70 m et 1.90 m »

Incertitude, imprécision Gestion de l’imprécis et de l’incertain Incertitude, imprécision On peut diminuer l’incertitude d’une proposition en augmentant son imprécision. Exemple : « Le prof mesure probablement plus de 1.70 m »  « Le prof mesure très certainement plus de 1.50 m » Autre forme d’imperfection de l’information : ambiguïté, flou Exemple : « Le prof est grand » Nécessite une extension de la théorie des ensembles  théorie des ensembles flous.

Incertitude et imprécision en RdF Gestion de l’imprécis et de l’incertain Incertitude et imprécision en RdF Rappel : objets ou système décrits par 2 variables : x  X (=Rd) (vecteur forme) y  W (classe) Problèmes : ayant observé x, donner une prédiction ponctuelle de y (« affectation à une classe »), mais aussi décrire l’incertitude sur y (important quand intégration dans un processus de décision plus complexe).

Apprentissage Supervisé Gestion de l’imprécis et de l’incertain Apprentissage Supervisé ensemble d’apprentissage n exemples (xi,yi) entrée connue classifieur prédiction ponctuelle ou probabiliste (mesure de probabilité PW sur W)

Gestion de l’imprécis et de l’incertain Généralisation ensemble d’apprentissage = données imprécises ou incertaines ei = connaissance partielle sur (xi,yi) classifieur 1 description de la connaissance partielle sur y compte tenu de toutes les sources d’information et de leur incertitude entrée x partiellement connue Fusion … classifieur q

Bases de données hétérogènes Gestion de l’imprécis et de l’incertain Bases de données hétérogènes Ex : base de données médicales Jusqu’à une date t0 : W={w1,w2} A partir de t0 : on identifie 2 variantes de la maladie w2 {w21 , w22} Nouvel ensemble W’={w1,w21 , w22} Parmi les cas étiquetés avant t0, certains seront étiquetés de manière imprécise.  étiquetage imprécis

De l’information à la décision Multi-capteurs Multi-sources Multi-modalité Expert(s) Fiabilité Confiance Hétérogénéité Système de perception Monde observé Environnement Contexte Décider Agir Interpréter Stratégies Acquérir Règle(s) de décision Lois de commande Numériques / Symboliques Informations a priori Imprécises Incertaines Incomplètes Hétérogènes Apprendre Comprendre Construire Extraire les caractéristiques Représentation Modèle(s)? Multi-modèles? RdF, diagnostic Commande floue Méthodes probabilistes ou non probabilistes

De l’information à la décision Les étapes fondamentales Modélisation des connaissances Combinaison des connaissances Décision  Définition d’une architecture ad hoc

Mécanismes de fusion Fusionner des données nécessite qu'elles soient définies dans le même cadre de discernement Modélisation des connaissances d mesure numérique espace des hypothèses  = {petit, moyen, grand} Cd confiance Mesure de confiance

Mécanismes de fusion Modélisation des connaissances pour deux sources d1 et d2 mesures numériques même espace des hypothèses  Cd1 et Cd2 confiances d2 d1

Gains attendus de la modélisation des incertitudes Mécanismes de fusion Gains attendus de la modélisation des incertitudes Flexibilité : prise en compte de la totalité des informations disponibles, même hétérogènes, de précision et de fiabilité variables Robustesse : tolérance à l’imprécision et l’incertitude des entrées du système de décision. Fusion de décisions, système interactif d’aide à la décision : l’influence de la sortie d’un système sur la décision doit dépendre de l’incertitude associée Il faut un cadre mathématique permettant de modéliser toutes les formes d’incertitude

Mécanismes de fusion Modélisation des connaissances Combinaison des connaissances Décision Confiance après combinaison

Mécanismes de fusion Modélisation des connaissances Combinaison des connaissances Décision Exemple : MAP en probabilités

Formalismes disponibles probabilités (vision fréquentiste et subjective) possibilités (sous-ensembles flous) évidence (croyance, Dempster-Shafer) Lofti ZADEH Didier DUBOIS Henri PRADE Thomas BAYES Glenn SHAFER Philippe SMETS Thierry DENŒUX

Formalismes disponibles Théorie des probabilités (Bayes, Kolmogorov, Cox, Jeffreys)  Inconvénient: introduction de lois a priori Fusion: Règle de Bayes Théorie des sous-ensembles flous et des possibilités (Zadeh, Bezdek, Dubois & Prade)  Degrés d’appartenance  Mesures de possibilité et de nécessité Fusion: plusieurs opérateurs Théorie de l’évidence (Shafer, Smets, Kholas)  Masses de croyance, crédibilité, plausibilité, probabilité pignistique Fusion: Opérateurs de Dempster, Yager, Dubois & Prade, Smets, Lefevre et al.

Formalismes disponibles Théorie des probabilités Approche fréquentiste une probabilité = la limite d'une fréquence d'occurrence d'événements Approche subjective (ou confiance) une probabilité reflète simplement un état de connaissance et le lien avec une fréquence réelle d'occurrence n'existe que dans certains cas. Théories non probabilistes théorie des possibilités (cadre de la logique floue) théorie de l'évidence proposée par Shafer (1976). Deux écoles de pensée : 1- les probabilistes: les résultats et mécanismes auxquels conduisent ces approches  toujours atteints par une méthode strictement probabiliste (à condition qu'elle soit suffisamment adaptée) 2- les adeptes de la théorie de l'évidence ou des possibilités volonté de chercher une modélisation plus fidèle sémantiquement vis-à-vis de l'information disponible.

Conseils Les règles du bon « fusionneur » 1) Réfléchir avant d’agir (bien analyser le problème posé)! 2) Ne pas sortir la grosse artillerie si cela n’est pas nécessaire ! 3) Savoir pourquoi on choisit une méthode ou une technique plutôt qu’une autre! 4) Réfléchir pour savoir si la méthode ou la technique est un tant soit peu raisonnable [cf. règles 1), 2) et 3) ] dans le cadre de son application! 5) Ne jamais ignorer les informations (quand elles existent) qui peuvent permettre de faciliter la résolution du problème!

…et postscriptum! On peut faire des tas de choses avec la fusion d’informations imparfaites à condition de savoir ce que l’on cherche à faire! Le « principe du marteau » et autres petits adages « When the only tool you have is a hammer, everything looks like a nail. » Lotfi ZADEH (cf. aussi Abraham MASLOW) "The proof of the pudding is in the eating.» Célèbre proverbe cité par Philippe SMETS

This is the end of this part!