Research & Technology Traitement automatique de la saillance Frédéric LandraginTALN 9 juin 2005.

Présentation au sujet: "Research & Technology Traitement automatique de la saillance Frédéric LandraginTALN 9 juin 2005."— Transcription de la présentation:

1 Research & Technology Traitement automatique de la saillance Frédéric LandraginTALN 9 juin 2005

2 1 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Contenu de la présentation 1. Quelques définitions et caractérisations de la saillance Approches et angles d’attaque de la notion de saillance Positionnement par rapport à d’autres notions Etat de l’art des facteurs de saillance Identification de facteurs génériques 2. Une classification des facteurs de saillance Première dimension : saillance visuelle et saillance linguistique Deuxième dimension : saillance physique et saillance cognitive 3. Vers une quantification de la saillance Quantifier la saillance dans les systèmes de TAL Revue des méthodes de quantification Principe de primordialité et principe de singularité Application à la saillance et exemples

3 2 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Problématique et objectifs 1. Est saillant ce qui arrive en premier à l’esprit, ce qui capte l’attention  Quels phénomènes recouvre la saillance ?  Par quels facteurs se caractérise la saillance ? 2. La saillance joue sur plusieurs plans ou dimensions  Quels sont les recouvrements et rapports entre ces dimensions ?  Peut-on caractériser la saillance en tant que concept unifié ? 3. Objectif : systèmes de détection automatique des entités saillantes  Comment modéliser la saillance ?  Une modélisation computationnelle doit-elle se limiter aux seuls aspects tangibles (ayant une trace physique) de la saillance ?

4 Research & Technology Quelques définitions et caractérisations de la saillance

5 4 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Définitions Angle d’attaque perceptif Un élément visuellement saillant, c’est un élément qui ressort prioritairement lors de la perception visuelle d’une scène, au point de prendre une importance cognitive particulière (de capter l’attention et d’occulter les autres éléments de la scène) Un élément linguistiquement saillant, c’est un élément qui ressort prioritairement lors de la compréhension d’un énoncé, au point de prendre une importance cognitive particulière (de capter l’attention et d’axer sur l’élément saillant la réaction ou la réponse à l’énoncé) Saillance = degré d’attention accordé aux entités perçues Facteurs de saillance = perceptivité (identifiabilité) ; simplicité naturelle ; clarté ; stabilité ; originalité (entité nouvelle) Angle d’attaque cognitif Saillance = degré d’attention accordé aux entités représentées mentalement Facteurs de saillance = focus d’attention ; familiarité ; accessibilité ; aspects perturbateur, curieux, énigmatique (entité qui pose un problème)

6 5 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Origines Pour la perception visuelle Origine = théories sur les formes et les couleurs, notion de bonne forme et critères d’agrégation des unités de la Théorie de la Gestalt (Diderot, Goethe… Itten et l’école du Bauhaus, Wertheimer 1923) Travaux en psychologie cognitive sur l’attention (Treisman 1980, Camus 1996, Rousselet & Fabre-Thorpe 2003) Détection de contours et d’objets en vision artificielle Pour le langage Origine = travaux sur la résolution des anaphores pronominales (thèse de Sidner en 1979, travaux de Grosz avec la théorie du Centrage en 1995, travaux de Stevenson et Poesio en 2001) Travaux sur la structure informationnelle (ou communicative) avec les notions de focus, thème, topique… (école de Prague, Mel’cuk, Lambrecht… et plus récemment Grobet 2002)

7 6 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Positionnement par rapport à d’autres notions Saillance et pertinence [Sperber & Wilson 1995] définissent la pertinence comme le ratio effet contextuel sur effort de traitement pour des contenus propositionnels (au niveau des processus cognitifs supérieurs), ce qui correspond à la saillance pour des contenus perceptifs (au niveau des processus inférieurs) Saillance et attention Notre perception est dirigée par des modulations attentionnelles descendantes (top-down) et par des modulations ascendantes (bottom-up = saillance) Saillance et sens Un élément saillant est porteur de sens, c’est un point d’ancrage, un point de départ pour tout processus cognitif (compréhension) Saillance et prototypage Saillance naturelle, saillance canonique, bonne forme, perception guidée par des prototypes, prototypes définis par des traits caractéristiques saillants : autant de rapprochements entre saillance et prototype

8 7 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Actant-prédicat. Au niveau de la syntaxe de l’énoncé, les actants sont les éléments sous-catégorisés par le verbe de l’énoncé : sujet, c.o.d. Agent-patient. Au niveau de la sémantique de l’énoncé, il s’agit du rôle thématique : entité qui fait l’action/entité qui la subit. Thème-rhème. A un niveau syntactico-sémantique : ce dont l’énoncé parle/ce qui en est dit (repérage de l’énoncé par le locuteur) — [Firbas 1964]. Posé-présupposé. Au niveau de l’énoncé, ce qui est dit/ce qui est implicite — [Strawson 1950] ; un aspect des implicitations de [Ducrot 1972]. Connu-nouveau. Ce qui permet de lier l’énoncé courant au sujet de la conversation (repérage de l’énoncé par l’interlocuteur) — [Halliday 1967]. Topique-commentaire. A un niveau stylistique : ce dont la conversation parle/ce qui en est dit — [Chomsky 1965] ; structures complexes de Chafe. Focus-background. Mise en avant par l’énoncé — [Dahl 1969]. Constrasté-non contrasté. Mise en avant liée à des inférences se basant sur le contexte d’énonciation — [Lambrecht 1994] ; [Molnár 2001]. Distinctions linguistiques liées à la saillance

9 8 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Approche La saillance nous semble être une notion plus globale que le focus ou le thème de la structure informationnelle, que le degré d’attention visuelle ou linguistique  Nous étudierons et caractériserons en parallèle la saillance visuelle et la saillance linguistique  Premier résultat : identification de facteurs génériques de saillance en abstrayant les facteurs visuels et les facteurs linguistiques  Deuxième résultat : clarification des dimensions d’étude de la saillance Saillance visuelle et saillance linguistique nous semblent devoir être exploitées simultanément  Nous tenterons de proposer une méthode de quantification permettant de confronter les caractéristiques visuelles et les caractéristiques linguistiques  Premier résultat : spécification de deux principes d’attribution de scores de saillance à des entités visuelles et linguistiques

10 9 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Facteur de saillanceExemple visuel Exemple linguistique critère intrinsèque aux unités mise en évidence explicite placement à un endroit stratégique isolement répétition symétrie rupture dans une continuité infraction à une règle implicite exploitation d’une norme structuration du message prédisposition physiologique prédisposition attentionnelle prédisposition affective grande taille brillance tiers du cadre objet isolé des autres régularité symétrie disposition linéaire disposition incongrue composition classique ligne directrice fovéa focus space visage connu nom propre présentatif, accent début de l’énoncé apposition répétition chiasme rythme d’élocution raté, erreur construction usuelle focus, thème niveau sonore élevé effet cocktail concept connoté Identification de facteurs génériques de saillance

11 Research & Technology Une classification des facteurs de saillance

12 11 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology 1 ère dimension = la modalité de perception (1/3) Unités : – objets visibles pour la saillance visuelle – entités de discours pour la saillance linguistique Facteurs caractérisant la saillance visuelle Saillance liée aux contrastes de luminosité et de couleur Saillance liée à une singularité dans un ensemble d’objets Catégorie et caractéristiques physiques (forme, couleur, taille, texture) Orientation, dynamique Isolement ou appartenance à un groupe perceptif Saillance liée à la cohésion et la structuration de la scène Mise en évidence explicite (éclairage, intention ostensive) Construction dédiée (composition photographique) Placement à un endroit stratégique (tiers du cadre, nombre d’or) Perspectives et équilibres (point de fuite, point d’équilibre) Répétitions et symétries

13 12 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology 1 ère dimension = la modalité de perception (2/3) Facteurs pour la saillance linguistique, au niveau de la forme Saillance intrinsèque au mot Phonèmes particuliers ou combinés de manière particulière ; nature du mot (noms propres) ; manque d’autonomie référentielle (déictiques purs) Saillance due à une mise en avant explicite lors de l’énonciation Accent de focalisation, intonation montante, toute prosodie particulière ; rupture dans le rythme d’élocution ; présence d’un geste ostensif Saillance due à une construction syntaxique dédiée Construction clivée « c’est… », « il y a… » ; détachement en tête ; etc. Saillance syntaxique liée à l’ordre et à la fréquence des mots Positions de début et de fin d’énoncé ; répétition ; symétrie Saillance liées aux fonctions grammaticales Fonction sujet > c.o.d. > c.o.i. > autres ; cas de la fonction vocative

14 13 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology 1 ère dimension = la modalité de perception (3/3) Facteurs pour la saillance linguistique, au niveau du sens Saillance liée à la sémantique des mots Importance des traits sémantiques « humain » et « animé » ; influences relatives des entités participant à un même événement (prof > élève) Saillance liée au rôle thématique Importances relatives de l’agent, du patient… selon la sémantique du verbe (catégorie sémantique, aspect, nombre et nature des arguments) Saillance liée au thème et au topique de l’énoncé Thème > rhème (mais parfois l’inverse) Saillance liée au propos de la conversation Introduction du propos par un groupe nominal long et explicite qui n’a pas la fonction sujet ; macro-règles de van Dijk Saillance liée à des inférences Explicite > implicite ; posé > présupposé ; connu > nouveau (ou inverse)

15 14 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology 2 ème dimension = concret versus abstrait Saillance relative à du concret Les facteurs de saillance ont une trace physique (caractéristiques physiques pour un élément visuel, caractéristiques lexicales et syntaxiques pour un élément linguistique) On parlera ainsi de saillance physique ou P-saillance Evaluer la P-saillance se fait sur des indices physiques objectifs (seule la P-saillance est calculable de manière fiable dans les systèmes informatiques) Saillance relative à de l’abstrait Les facteurs de saillance sont liés à des aspects cognitifs (saillances liées à l’intention, à l’attention, à la mémoire à court terme, à la mémoire à long terme, à l’affect et aux émotions) On parlera ainsi de saillance cognitive ou C-saillance Evaluer la C-saillance se fait sur des hypothèses sur les états mentaux de l’individu considéré

16 Research & Technology Vers une quantification de la saillance

17 16 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Exploitation de la saillance dans les systèmes de TAL En interprétation automatique Prédire sur quelle entité le locuteur va se focaliser et axer son énoncé Lever des ambiguïtés : « le N » dans une scène visuelle comprenant plusieurs N dont un seul est saillant « le N » dans un contexte d’interaction où un N vient d’être manipulé ou mentionné « le N » interprété comme « le N suivant dans la succession des tâches » geste ambigu pouvant être étendu à un ensemble (groupe perceptif) d’objets saillants Comprendre le comportement de l’utilisateur (exemple : il n’a pas fait attention à telle entité) et s’en inspirer dans le fonctionnement du système En génération automatique Axer le discours sur les entités saillantes (en tant que propos ou « quoi dire ») Déterminer la nature d’un acte de référence : avec ou sans geste ostensif Simplifier les messages générés, en particulier les expressions référentielles (« comment le dire »)

18 17 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Moyenne arithmétique : la plus classique Moyenne géométrique : intérêt = influence relative des termes du produit [Iwayama et al. 1990], [Pattabhiraman 1993] Avantages : Pas besoin d’une hiérarchie de facteurs mais juste d’une liste Très facile à mettre en œuvre Inconvénients : Il se peut qu’un facteur ait beaucoup plus de poids qu’un autre En s’appliquant, un facteur peut en annuler d’autres Plusieurs facteurs peuvent être fréquemment conjoints La somme ou la moyenne des facteurs

19 18 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe : en considérant la Théorie de l’Optimalité [Prince & Smolensky 1993] comme une méta-théorie applicable ici, on a : l’entité la plus saillante est celle qui satisfait le facteur le plus élevé (ou optimal) Avantages : simplicité ; ancrage dans la Théorie de l’Optimalité Inconvénients : Nécessité d’une hiérarchie des facteurs [Hajičová et al. 1995] Attention : annulation des facteurs non retenus Une entité peut satisfaire le seul facteur optimal, alors qu’une autre entité, par conséquent moins saillante, peut satisfaire une multitude de facteurs secondaires et constituer ainsi un candidat La prise en compte du facteur optimal

20 19 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe : pondération des facteurs selon leur importance Exemple : [Alshawi 1987] Problèmes : Récence avantagée Scores intuitifs Facteurs surtout formels FacteurScore récence dans la phrase récence dans le paragraphe emphase emphase liée au passif appel à l’historique deixis... 100n 50 90 20 90... La moyenne pondérée des facteurs (1/2)

21 20 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Avantages : Rend compte d’un large éventail de phénomènes Permet de compenser les problèmes des méthodes de la moyenne et du facteur optimal Inconvénients : L’intuition ne suffit pas à justifier des poids tels que 0.8 ou 0.6 Une analyse de corpus pour déterminer les poids peut aboutir à des résultats qui ne sont valables que pour le corpus considéré Enorme travail de détermination des poids lorsque l’on a recours à un corpus (sans oublier les difficultés que pose l’identification par l’annotateur des causes de saillance) La moyenne pondérée des facteurs (2/2)

22 21 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe : série de procédures Exemple : [Mitkov 1998] Avantage : calculabilité Inconvénient : aucune plausibilité linguistique : pourquoi un indéfini a-t-il moins de chances d’être antécédent ? d’où vient la liste des verbes ? etc. [Salmon-Alt 2001] ParamètreProcédure (basée sur un score) détermination information connue nature du verbe répétition lexicale … 0 pour un indéfini ; -1 pour un défini 1 pour le premier GN ; 0 sinon score variable selon une liste prédéfinie score de 0 à 2 selon le nb de répétitions … Les méthodes procédurales

23 22 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe : en utilisant ou non des apports complémentaires des méthodes précédentes, il s’agit d’exploiter un réseau de relations statistiques entre les unités / facteurs / concepts Exemples : [Pattabhiraman 1993] analyse factorielle des correspondances Avantage : meilleure plausibilité des scores obtenus Inconvénient : lourd à mettre en œuvre Les méthodes statistiques et hybrides

24 23 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe : faire varier les poids relatifs des facteurs au cours du traitement, par exemple en fonction de paramètres contextuels Exemple : [Lappin & Leass 1994] Avantage : gestion dynamique de certains aspects contextuels Inconvénients : Récence avantagée Variations arbitraires Facteurs surtout formels Difficulté à mettre en œuvre FacteurScore récence phrastique emphase sur le sujet emphase existentielle objet direct objet indirect tête du groupe nominal emphase non adverbiale 100n 80 70 50 40 80 50 Les méthodes dynamiques

25 24 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Constat : si les méthodologies mathématiques et statistiques semblent prêtes, il en n’est pas de même de celles relatives à la détermination des poids et des influences relatives des divers facteurs et éléments contextuels Problèmes relatifs à l’exploitation de corpus : Nécessité de plusieurs annotateurs et de comparaisons Une méthode reste valable dans le cadre du corpus exploité Problème de la caractérisation d’un corpus : un corpus peut être très faible au niveau lexical et très riche au niveau référentiel  il faut tenir compte de tous les plans concernés par les facteurs (prosodie, lexique, morphologie, syntaxe, sémantique, pragmatique)… Discussion sur les poids des facteurs

26 25 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Principe de primordialité et principe de singularité Plusieurs façons d’attribuer un score à une entité pour une propriété : indépendamment ou en fonction des autres entités Principe de primordialité Meilleure saillance = plus grande importance Exemple = dans un énoncé décrivant un événement qui concerne un agent, un patient et un instrument, le patient est considéré comme le rôle thématique le plus important Principe de singularité Meilleure saillance = plus de singularités Exemple = dans une scène visuelle contenant des objets bleus et un objet rouge, ce dernier est le seul à être rouge, et, du fait de cette singularité, devient l’objet le plus saillant pour la couleur

27 26 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Formalisation avec des scores numériques (1/2) Une première méthode pour les facteurs de P-saillance visuelle disposition couleur taille forme a b d c a: 0 0 0 0  0 b: 0 0 0 0  0 c: 0 1 1 0 .5 d: 1 0 0 0 .25 a b d c a: 0 0 0 1 .25 b: 0 0 0 0  0 c: 0 0 0 0  0 d: 0 0 0 0  0

28 27 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Formalisation avec des scores numériques (2/2) Même méthode pour les facteurs de P-saillance linguistique « le triangle rouge se met à côté du bleu » Facteurtriangle rougetriangle bleu construction syntaxique dédiée place stratégique en début d’énoncé fonction grammaticale sujet rôle thématique privilégié thème total de saillance ramené entre 0 et 1 0 1 0.8 000000000000 « c’est le triangle rouge que tu dois mettre à côté du bleu » construction syntaxique dédiée place stratégique en début d’énoncé fonction grammaticale sujet rôle thématique privilégié thème total de saillance ramené entre 0 et 1 1 0 1 0.8 000000000000

29 28 Ce document et les informations qu’il contient sont la propriété de THALES. Ils ne peuvent être reproduits, communiqués ou utilisés sans son autorisation écrite au préalable. ©THALES 2005. Modèle trtco version 7.0.3 Research & Technology Bilan Conclusion Proposition de deux angles d’attaque de la notion de saillance Proposition d’une classification des facteurs de saillance en suivant deux dimensions d’étude Proposition d’une première méthode basée sur deux principes et sur des scores numériques pour la quantification de la saillance Perspectives Amélioration de la modélisation, avec une meilleure prise en compte des paramètres cognitifs Amélioration de la quantification, avec la prise en compte des importances relatives des facteurs Analyses de corpus Exploitation dans des applications nécessitant une identification automatique des entités saillantes