Journée Documents et Connaissances 6 octobre 2003, Paris FRE 2645 Traitement d’Images, Gestion des Connaissances, et Linguistique Une Contribution Pluri-Disciplinaire en Interprétation de Documents Baudouin Nathalie, Delalandre Mathieu, Koch Guillaume Nicolas Stéphane, Saidali Youssouf Journée Documents et Connaissances Octobre 2003, Paris

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris Introduction Interprétation de Documents Structuré Manuscrit Graphique

Journée Documents et Connaissances 6 octobre 2003, Paris Introduction Interprétation de Documents Structuré Manuscrit Graphique

Journée Documents et Connaissances 6 octobre 2003, Paris Introduction Interprétation de Documents Structuré Graphique

Journée Documents et Connaissances 6 octobre 2003, Paris Introduction Interprétation de Documents Graphique

Journée Documents et Connaissances 6 octobre 2003, Paris données de haut niveau concernant le contenu du document données de haut niveau concernant le contenu du document Système De Contrôle Introduction Système d’Interprétation Traitements

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Librairie de Traitements Traitement d’Images Reconnaissance Pré Traitement AnalyseReconnaissance A B D C

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Documents Manuscrits (1) extraction composantes connexes Segmentation en mots Système de reconnaissance

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Documents Manuscrits (2) extraction composantes connexes génération graphe de voisinage Segmentation en phrases

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Documents Graphiques Symbole proche

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Documents Graphiques (1)

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Documents Graphiques (2) -=

Journée Documents et Connaissances 6 octobre 2003, Paris Traitements et Interprétation Librairie de Traitements Système de Contrôle Base Résultats Des Traitements Base d’Apprentissage Enchaînement & Paramétrage des Traitements

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris données de haut niveau concernant le contenu du document données de haut niveau concernant le contenu du document Système De Contrôle Traitements Introduction Système d’Interprétation ModèlesIHM Connaissances But

Journée Documents et Connaissances 6 octobre 2003, Paris Connaissance et Interprétation Des outils  Efficaces  Possibilité de les enchaîner différemment  résultats différents  Problèmes:  Applications dédiées, manque de généricité  Connaissances enfouies dans le code  Adaptabilité dans un nouveau contexte pour un utilisateur métier

Journée Documents et Connaissances 6 octobre 2003, Paris Connaissance et Interprétation Des outils  Difficultés  Quels opérateurs et méthodes sont à utiliser vis à vis du problème ?  Comment paramétrer, séquencer, coordonner et faire coopérer les opérateurs ?  Quelle stratégie adopter ?  Manipulation de nombreuses connaissances  Approche EGC

Journée Documents et Connaissances 6 octobre 2003, Paris Connaissance et Interprétation Une Démarche  Identification et taxonomie des connaissances  Modélisation dans le domaine du TI  Représentation suivant un formalisme adapté  Acquisition du savoir-faire des experts par un processus incrémental  Exploitation des traces d’expériences laissées sur le système au cours de son utilisation  Interaction Homme-Machine-Homme

Journée Documents et Connaissances 6 octobre 2003, Paris Connaissance et Interprétation Identification  Processus d’analyse de document:  Exploitation, enchaînement des outils  Données en entrée  Structuration  Exploitation de connaissances a priori  Descriptives  Stratégiques

Journée Documents et Connaissances 6 octobre 2003, Paris  Modèle de contenu du document  Entités graphiques  Relations  Description symbolique et numérique des entités manipulées  Graphique  Domaine, classe de document Connaissance et Interprétation Connaissances descriptives

Journée Documents et Connaissances 6 octobre 2003, Paris  Concepts sur la manipulation de la bibliothèque  Stratégies de construction de graphes d’actions par un expert TI  Modèle de scénario :  Données  Opérateurs (nom, fonction, entrée, sortie, évaluation, …)  Chaîne de traitement  Intention (contexte, contrainte, but, requête…)  Historique (faits chronologiques, traces laissées par les experts sur le système) Connaissance et Interprétation Connaissances stratégiques

 Graphes formalisés avec XML  Descriptif : nœud/concept graphique, arc/lien sémantique  Stratégique : Connaissance et Interprétation Formalismes de représentation

Journée Documents et Connaissances 6 octobre 2003, Paris Connaissance et Interprétation Interfaces pour l’Acquisition

Journée Documents et Connaissances 6 octobre 2003, Paris SplitCordeKPPV Vecteurs Extraits ModStructExt Classifier StructClassif Reconstruire Graphe Reconstruire Chaîne ConstGraphContrConstTopo Reconnaître Occlusion Occlusions Reconnues Chaînes Reconnues Squelettiser Ext Modèle Statistique Extraire Contours Amincissement ContourExtractionFourrier MelinZernikeSondes Circ Suivi Crête Ext Modèle Structurel Polygonaliser Classifier Image Binaire Extract MC Extract Occlu Grandes Masses Connexes Petites Masses Connexes Segmenter Squelettiser Ext Modèle Statistique Extraire Contours Image Couleur Image Niveaux de Gris Changer Résolution ColorToNvg Binariser KittlerEntropieManuelleOTSU Image Binaire NumériqueMorphoMath Nettoyer Connaissance et Interprétation Des outils

Connaissance et Interprétation Élaboration des référentiels

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation ACTI_VA : hypothèse et problèmes soulevés  Postulat : tout utilisateur peut apprendre à traiter des images en se référant à des scénarios modèles présentés par la plate- forme ;  Ce postulat soulève les questions :  le recueil de modèles de scénarios ;  le recueil et l’analyse de données linguistiques propres à permettre la compréhension de la plate-forme par tout « type » d ’utilisateur.

Journée Documents et Connaissances 6 octobre 2003, Paris  De la nécessité de recourir à un collège d ’experts ;  Deux types d’experts sollicités : les experts « métier » / les experts « TI » domaine d ’application / poste de l ’expert / spécialisation du laboratoire Linguistique et Interprétation Méthodologie de l’enquête : définition de la population

Journée Documents et Connaissances 6 octobre 2003, Paris Elaboration de fiches terminologiques ACTI_VA 1 1- L’expert choisit une image dans la base d’images d’ACTI_VA ; 2- L’expert exprime une intention sur l’image ; 3- L’expert utilise la plate-forme pour aboutir au résultat voulu tout en verbalisant ses actions ; 4- L’expert fait exécuter la même action au terminologue. ACTI_VA 2 ACTI_VA 3 FT R&D : 3 experts  Corpus oral ;  Traces dans la plate-forme. Elaboration de fiches terminologiques  Corpus oral ;  Traces dans la plate-forme. LORIA : 3 experts 1- L’expert choisit une image dans la base d’images d’ACTI_VA ; 2- L’expert exprime une intention sur l’image ; 3- L’expert utilise la plate-forme pour aboutir au résultat voulu tout en verbalisant ses actions ; 4- L’expert fait exécuter la même action au terminologue. 5- L’expert aide le terminologue à compléter les fiches FT R&D : 3 experts 1- L’expert choisit une image dans la base d’images d’ACTI_VA ; 2- L’expert exprime une intention sur l’image ; 3- L’expert utilise la plate-forme pour aboutir au résultat voulu tout en verbalisant ses actions ; 4- L’expert fait exécuter la même action au terminologue.  Corpus oral ;  Traces dans la plate-forme. LORIA : 3 experts 1- L’expert choisit une image dans la base d’images d’ACTI_VA ; 2- L’expert exprime une intention sur l’image ; 3- L’expert utilise la plate-forme pour aboutir au résultat voulu tout en verbalisant ses actions ; 4- L’expert fait exécuter la même action au terminologue. 5- L’expert aide le terminologue à compléter les fiches  Corpus oral ;  Traces dans la plate-forme.

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation Résultat de l’analyse linguistique : élaboration d’un ensemble de fiches multifonctionnelles

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation L’irremplaçable oral : un exemple de polysémie du terme extraire « E1- D ’accord, je voudrais extraire tous les PC. T- Extraire les PC, c’est à dire ? E1- Je voudrais que soient identifiés dans mon image tous les PC, savoir leur position, mais je ne crois pas que ça soit possible avec ce scénario-là. Donc en fait je vais reconnaître tout ce qui est texte, je vais changer mon intention ; à priori en filtrant les masses connexes, ça me permet d’extraire tout ce qui est caractère. » « T- De quoi fait ou font partie la ou les composantes connexes ? E4- L’ensemble des composantes connexes d ’une image constitue une segmentation d’image élémentaire, c ’est à dire que quand vous avez une segmentation d ’image, vous prenez tous les pixels de la forme, tous les pixels noirs d ’une image et quand vous extrayez les composantes connexes, vous avez fait une segmentation. »

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation L’irremplaçable oral : un exemple de polysémie du terme extraire

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation Un exemple d’application des résultats : l ’amélioration de l’écran d ’accueil d ’ACTI_VA Première version de l’écran d’accueil d ’ACTI_VA ?

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation Un exemple d’application des résultats : l ’amélioration de l’écran d ’accueil d ’ACTI_VA Deuxième version de l’écran d’accueil d ’ACTI_VA

Journée Documents et Connaissances 6 octobre 2003, Paris Linguistique et Interprétation Un autre exemple d’application : l’aide contextuelle

Journée Documents et Connaissances 6 octobre 2003, Paris Plan  Introduction  Traitements et Interprétation  Connaissance et Interprétation  Linguistique et Interprétation  Conclusion

Journée Documents et Connaissances 6 octobre 2003, Paris Conclusion  Traitements  granularité, généricité, et multiplication des approches  Externalisation et opérationnalisation des connaissances pour tendre vers plus de généricité  Validation des méthodologies d’enquête et d’analyse socio-linguistique