Céline Hudelot, Monique Thonnat Apports de la vision cognitive pour la détection précoce de bioagresseurs Céline Hudelot, Monique Thonnat Équipe ORION, INRIA Paul Boissard Urih, INRA

Plan de la presentation Introduction État de l’art Notre approche: une plate forme de vision cognitive Un système pour le diagnostic précoce des pathologies du rosier Conclusion et perspectives 17/06/2005 INRA

Introduction: L’action PIC « Production intégrée dans un système de cultures sous serre lourde » Axe : moyens de détection et de contrôle Développement de méthodes génériques Capteurs innovants : vers un contrôle non destructif Caractériser l’état de fonctionnement de la culture 17/06/2005 INRA

Introduction: Objectifs Objectifs biologiques: Détection précoce des maladies et de la présence de ravageurs Automatisation de la surveillance de l’état sanitaire des plantes Un diagnostic plus précis et pouvant être quantifié Non limité à l’œil humain (visibilité et subjectivité) Une surveillance continue Connaître les pathologies : capitalisation de la connaissance en pathologie Rendre la connaissance des experts pathologistes disponible à un plus grand nombre de personnes, plus rapidement 17/06/2005 INRA

État de l’art Vision par ordinateur pour la production agricole: Tri, contrôle de qualité: pomme, cerise, oignon, rose, tomate, … Détection de mauvaises herbes [Manh,03], [De Mezzo,04] Reconnaissance de conidies [Bernier & al, 2000] Dénombrement d’insectes dans les serres [Bauch & al, 2004, Greensys] Des systèmes industriels Des solutions très spécifiques pour chaque application Représentation explicite et utilisation de la connaissance 17/06/2005 INRA

État de l’art Systèmes à base de connaissances pour l’aide au diagnostic de pathologies végétales: Beaucoup de “ systèmes experts conventionnels” à entrée textuelle se basant sur des questions et des règles TOM (INRA, [Blancard]) : diagnostic des pathologies de la tomate et prescription de traitements VEGES ([Yialouris & al, 1997]): diagnostic de la présence de ravageurs, des maladies et des désordres nutritionnels pour 6 cultures légumières sous serre Rendre l’expertise disponible plus rapidement Dépend de l’observateur et de sa capacité à comprendre les anomalies Intégration de techniques de vision cognitive pour automatiser le contrôle sanitaire 17/06/2005 INRA

Notre approche: Vision cognitive Définition: Étude de l’acquisition et de l’utilisation de la connaissance et du raisonnement en vision par ordinateur De la « reconstruction visuelle » aux ordinateurs « qui savent voir » SAVOIR FAIRE 17/06/2005 INRA

Approche: Motivations Pourquoi la vision cognitive ? Diagnostic des pathologies végétales = acte visuel visant à déduire la présence de maladies par l’observation de signes et symptômes SAVOIR RAISONNER : interprétation des signes et des symptômes en terme de pathologies SAVOIR VOIR : Focalisation sur les critères pertinents Réseaux en forme d’étoile de filaments blanc et fins (5-10 μ) Présence d’une région elliptique au centre du réseau Conditions climatique: Humidité importante, Température : 25 °C Apparition précoce d’oïdium dans des conditions favorables Diagnostic précoce: Image microscopique (x64) d’une feuille de rosier 17/06/2005 INRA

Approche: Motivations Au début d’une infection: Pas d’altération significative et détectable du fonctionnement de la plante Méthodes comme mesure de la température de surface, de la reflectance, de la fluorescence non efficaces à ce stade Méthodes biochimiques, PCR portable : très chère et petit échantillonnage Techniques d’images : bonnes méthodes pour les ravageurs et les maladies externes 17/06/2005 INRA

Approche : Une plate forme réutilisable Objectif Automatiser la reconnaissance d’objets complexes dans leur environnement naturel Pas un n-ième système spécifique dédié à une application donnée Proposer des solutions génériques et facilement réutilisables Plate forme de vision cognitive: un environnement réutilisable pour faciliter la construction de systèmes d’interprétation sémantique d’images particuliers 17/06/2005 INRA

Approche: Une plate forme modulaire Reconnaissance d’objets à partir d’images: 3 sous problèmes: Traitement d’images: description numérique des objets Transformation numérique <-> symbolique Interprétation sémantique des données symboliques en termes de concepts du domaine d’application Une architecture distribuée basée sur la coopération de trois systèmes à base de connaissances 17/06/2005 INRA

Approche: vue globale de la plate forme Plate forme de vision cognitive Interpretation semantique Moteur d’interpretation Modele de representation de la connaissance semantique Ontologie de concepts visuels Gestion de donnees visuelles Moteur Ontologie de Concepts de traitement d’images Modele de representation de la connaissance Pilotage de programmes de TI Moteur de pilotage Modele de representation de la connaissance 17/06/2005 INRA

Niveau sémantique Connaissance sémantique a priori Niveau visuel PUCERONM INSECTE ALEURODE ACARIEN INFECTION D’INSECTES Lien de composition Lien de spécialisation ANTENNES TRIPS Connaissance sémantique a priori Niveau visuel Description à l’aide d’une ontologie De concepts visuels Aleurode: forme elliptique, symétrique, de couleur blanche/ jaunâtre, de longueur 1 a 2 mm Ancrage de symbole Niveau image Perception: ensemble de pixels Après le traitement d’images: plusieurs régions Ne correspondent pas forcement à des objets physiques Description à l’aide de concepts image Region 1: Area : 105 compactness :0.9 Circularity : 0.85 HSV (0.05,0.2, 0.6) ... 17/06/2005 INRA

Approche: Interprétation sémantique Rôle : Donner un sens sémantique à la scène observée dans l’image Raisonnement classificatoire dans la taxonomie de concepts du domaine Propagation d’hypothèses sur les objets présents dans l’image Connaissance sémantique du domaine d’application Description visuelle des concepts du domaine par des concepts visuels prédéfinis (ontologie de concepts visuels) Taxonomie de concepts Information contextuelle non visuelle 17/06/2005 INRA

Approche: Gestion des données visuelles Rôle: Mise en correspondance entre les symboles et les données extraites des images Raisonnement spatial pour la gestion de plusieurs objets Connaissances: Représentation explicite et floue du lien entre des symboles (concepts visuels) et les descripteurs numériques mesurables dans les images Définition et représentation des relations spatiales Plusieurs critères (règles): Extraction d’objets visuels (contraindre le traitement d’images) Déduction spatiale Évaluation résultats du traitement d’images 17/06/2005 INRA

Approche: Traitement d’images Rôle : Extraction et description numérique des objets Comment Utilisation de techniques de pilotage de programmes (plutôt qu’une procédure fixe) Automatisation de la réutilisation de programmes pré existants en planifiant les traitements et en contrôlant les exécutions Connaissances : Représentation explicite de la connaissance sur l’utilisation d’une bibliothèque de programmes. 17/06/2005 INRA

Approche: Originalité Séparation des différents types d’expertises nécessaires Séparation de la connaissance et du raisonnement. Pour chaque module: Un moteur réutilisable Un formalisme de représentation de la connaissance Un langage de représentation Deux ontologies réutilisables 17/06/2005 INRA

Approche: Principe d’utilisation Utilisateur Pour une application particulière Système d’interprétation sémantique particulier Expert du domaine Interprétation sémantique Construit Moteur d’interprétation Moteur de gestion de données visuelles Moteur de pilotage de programmes utilise Plate forme de vision cognitive Expert en vision Gestion des données visuelles Construit utilise utilise Pilotage de programmes de TI Construit Expert en traitement d’images 17/06/2005 INRA

Application Application de la plate forme de vision cognitive pour le diagnostic précoce des pathologies du rosier de serre Construction d’une base de connaissances du domaine: Description des signes et symptômes observables à l’échelle microscopique du rosier de serre Organe étudié: feuille Construction d’une base de connaissance de gestions de données visuelles Construction d’une base de connaissances de pilotage de programmes de traitement d’images: Bibliothèque PANDORE (ENSI Caen) Développement d’algorithmes de traitement d’images: fonctionnalités non présentes dans PANDORE 17/06/2005 INRA

Application Acquisition de la connaissance par des interviews d’experts pathologistes (Marc Bardin et Philippe Nicot, INRA Avignon et Nicole Ballino, INRA Frejus) Un arbre composé de 45 classes du domaine Représentation explicite d’un contexte du domaine et d’un contexte d’acquisition d’images Règles d’initialisation et de post interpretation 17/06/2005 INRA

Conclusion : Bilan Plate forme de vision cognitive Thèse « informatique » soutenue: validation des idées proposées Une plate forme « en chantier » : un prototype Système de diagnostic des pathologies végétales du rosier: Trois bases de connaissances comprenant 218 frames et 73 règles Bases de gestion de données visuelles et de pilotage de programmes minimales (non dépendante de l’application) L’évaluation reste à faire 17/06/2005 INRA

Conclusion : Bilan Actuellement: rendre la plate forme opérationnelle Rattachement d’un ingénieur informatique (Nicolas Chlecq) pour une durée de 6 mois 1ere étape: Courant juillet : livraison du Parser (d’une base de connaissance KRIL a un fichier C++) Tester la version actuelle de la plate forme, validation de l’application biologique 2ere étape: INRA: Enrichissement de la base de connaissances du domaine Base de connaissances insectes INRIA: Parser pour le module de gestion de données visuelles Enrichissement des deux autres bases de connaissances ? 17/06/2005 INRA

Conclusion : Bilan 3eme étape: Symbol grounding problem Intégration d’un module d’apprentissage pour la mise en correspondance entre concepts visuels et données images (Travaux de Nicolas Maillot) Symbol grounding problem A priori knowledge approach Explicit fuzzy representation of symbol matching with image data Explicit matching VisualConcept{ name Circular_Surface Super Concept Elliptical_Surface Symbol name eccentricity Linguistic-values [ high very_high] FuzzySet Fhigh ={0.57, 0.62, 0.76, 0.84} Fvery_high ={0.76, 0.84, 1, 1} Domain [0 1] Learning from samples approach Image Data Descriptor Selection Training Image samples Learned matching 17/06/2005 INRA

Conclusion: Perspectives Connexion avec le contrôle du système-serre: données fournies par la plate-forme à l’entrée du pilotage du système (cf L. Mailleret), aide à la décision (approche contextuelle) Optimisation des Capteurs et de leur positionnement Aspects Multi-résolution Connexions avec d’autres thématiques scientifiques : Aspect spatio-temporel de l’évolution d’une maladie (épidemiologie) Aide au diagnostic via l’indexation d’une base d’images : recherche de cas Apprentissage de la segmentation (Vincent Martin) 17/06/2005 INRA