Multi-level Data Fusion

ONERA : Le centre français de recherche aérospatiale Force d’innovation, d’expertise et de prospective pour l’industrie, l’État et l’Europe • Épic créé en 1946 • Tutelle du ministère de la Défense • 2 100 personnes • 258 doctorants et post-doctorants • 244 M€ de budget • 59 % d’activité contractuelle • 1er pôle de compétences souffleries en Europe 2

La science pour l’innovation de l’aéronautique, de l’espace et de la Défense Un portefeuille d’activités équilibré • 1/3 civil • 1/3 défense • 1/3 dual 3

Organisation scientifique et technique BRANCHES SCIENTIFIQUES DÉPARTEMENTS SCIENTIFIQUES Aéroacoustique (DAAC) Aérodynamique appliquée (DAAP) Aérodynamique fondamentale et expérimentale (DAFE) Énergétique fondamentale et appliquée (DEFA) Modèles pour l’aérodynamique et l’énergétique (DMAE) Mécanique des fluides numérique (DMFN) MÉCANIQUE DES FLUIDES ET ÉNERGÉTIQUE GRANDS MOYENS TECHNIQUES Souffleries de Modane-Avrieux Souffleries du Fauga-Mauzac Réseau Ingénierie et Maquettes Produits et Services Logiciels Optique théorique et appliquée (DOTA) Électromagnétisme et radar (DEMR) Mesures physiques (DMPH) Environnement spatial (DESP) PHYSIQUE Aéroélasticité et dynamique des structures (DADS) Matériaux et structures composites (DMSC) Matériaux et structures métalliques (DMSM) Laboratoire d’étude des microstructures* (LEM) MATÉRIAUX ET STRUCTURES TRAITEMENT DE L’INFORMATION ET SYSTÈMES Conception et évaluation des performances des systèmes (DCPS) Traitement de l’information et modélisation (DTIM) Commande des systèmes et dynamique du vol (DCSD) Prospective aérospatiale** (DPRA) * Unité mixte ONERA-CNRS ** Département à vocation transversale

Programmes de recherche DTIM : quels clients ? Quels partenaires ? Entreprises AIRBUS DS THALES (TOSA, TSA) DASSAULT AVIATION SAGEM DS MAGELLIUM SNCF, Décathlon Kinestesia, Cyclopus Agences Nationales DGA (ESIO, ACE, TN, CGN) ANR (CSOSG, TECSAN) Programmes de recherche Transfert techno. Essaimage Contrats Expertise Études en partenariat Contrats bilatéraux Arrangements Spécifiques Projets de recherche DTIM Thèses Projets collabo. International UE (FP7 Security, H2020, EDA) DSO (Singapour) OTAN (x-Sensor Fusion, SR) DRDC (Canada) FKIE (Allemagne) University of New Mexico Xi’an Jiaotong (Chine) NW Polytechnical Univ. (Chine) Bulgarian Academy of Sciences Académiques Un. Paris-Saclay (STIC) IOGS ISIR ENSTA Telecom ParisTech GIPSA-Lab IRSTEA ESIEE Paris XIII (LAGA, L2TI) Projets de recherche ONERA PRF, PR, ARF, Carnot ONERA TIS : DCPS, DCSD PHY : DOTA, DEMR, DMPH MFE : DAFE, DMAE, DSNA, DEFA MAS : DMSM

Data Fusion? « When you use information from one source, it’s plagiarism; When you use information from many, it’s information fusion.» Belur Dasarathy « La fusion d’informations consiste à combiner des informations issues de plusieurs sources afin d’améliorer la prise de décision » Isabelle Bloch

Domaines d’application Applications militaires : détection, identification et pistage de cibles surveillance des champs de bataille établissement de situation Applications aéronautiques et spatiales : imagerie satellitaire commande d'engins spatiaux (fusées et robots) Applications médicales : observation du corps et des pathologies aide au geste et au diagnostic médical Robotique robots d'assistance humaine (fauteuils roulants, véhicule automobile, machines agricoles,…) drones Assistance à l'opérateur humain : aide au diagnostic salle de contrôle (aiguilleurs du ciel)

Fusion Multi-Capteurs Connaissances a priori : objets et leurs caractéristiques scène observée (cartes, atlas...) règles d'évolution... Connaissances contextuelles : météo, brouillage,…etc. Raisonner Caractériser Reconnaître Détecter

Caractéristiques des données

Exemples d ‘étude : Classification Hyperspectral Image hyperspectrale Images SAR (bandes L et P) NDVI (hyper) HVP (SAR) ARVI (hyper) HVL (SAR) HHP – HVP (SAR) VVL – HHP (SAR) VVL – HHP (SAR) R (hyper)

Exemples d’étude : Surveillance, Conduite de tir PEA SPIRALE 2005-2010 Thèse L. Genin 2013 PRF SAMOTRAS 2011-2015 Ralliement LdV Optro sur DO SAR Acquisition cartes SAR & DO SAR Acquisition image optro & Identification cible par le pilote (ROE) Tir AASM-M PEA CONTASOF2 2007-2009 PEA TRAGEDAC2 2011-2015 PEA DEMAS 2014-2016 Programme RAFALE Conduite de tir A/S & A/A ESM, Optro, SAR Alerte spatiale avancée : détection et pistage PEA SURZONE 2013-2014 PRF SEXTANT 2013-2016 ANR ANGELAS 2015-2016 Surveillance de zone : réseaux de capteurs abandonnés, fusion de données hétérogènes, Lutte anti-drone 11

Exemples d’études : Ingénierie des connaissances

Pistage Multi-cibles Multi-target tracking What is tracking ? At each time step, how many targets are there, where are they, and where have they been?

Pistage Multi-cibles Multi-target tracking observation space observation produced by targets state space target motion I will then present finite sets stats-a stat tool derived from RS for attacking MS MT tracking. Xk Xk-1 5 targets 3 targets Objective: Jointly estimate the number and states of targets Challenges: Random number of targets and measurements Detection uncertainty, clutter, association uncertainty

Multi-target tracking : the data association problem At a given time k, one has n > 1 measurements zj (j = 1 … n) possibly arising from m > 1 targets Ti (i = 1…m). Find the binary matrix A= [a (i, j)] maximizing the global reward

Target tracking with context analysis LOW LEVEL HIGHT LEVEL Tracking algorithms Context analysis Context       R C Fusion x c f r Sensor 6 8 20 22 hours 1 3° site Estimate Kalman Gain Covariance

Contextual information : Simulation Example

Informations rapportées (second hand data ) Fusion de haut niveau Sources humaines Open sources: Blog, tweets, forums Analyse de situation & estimation de l’impact Informations rapportées (second hand data ) Modélisation des connaissances & Ontologies Sémantique & Raisonnement Modèles de confiance Médiation & Fusion numérique - symbolique

Analyse de l’incertitude Données Contradictions Complétude Sources Compétence Intentions Traitements Performance algorithmes Qualité des modèles

Caractéristiques des données Différentes formes d’imperfection : Imprécision : traduit le manque d’exactitude de la connaissance Incertitude : traduit le degré de conformité de l’information à la réalité Incomplétude : absence d’information apportée par une source sur certains aspects du problème Ambiguïté : information fournie peut conduire à 2 interprétations différentes Conflit : plusieurs informations conduisent à des interprétations contradictoires

De l’information à la décision Multi-capteurs Multi-sources Multi-modalité Expert(s) Fiabilité Confiance Hétérogénéité Monde observé Système de perception Environnement Contexte Décider Agir Interpréter Stratégies Acquérir Règle(s) de décision Lois de commande Numériques / Symboliques Informations a priori Imprécises Incertaines Incomplètes Hétérogènes Apprendre Comprendre Construire Extraire les caractéristiques Représentation Modèle(s)? Multi-modèles? Méthodes probabilistes ou non probabilistes