Les règles-observateur : un modèle pour l'analyse pratique de requêtes en Langage Naturel

Guillaume Pitel - Exposé Groupe AMI 19/11/ Problématique : lInteraction Homme/Machine Acteurs : Lhomme Le logiciel Variantes du média de communication Commande en LN sur une application (Monde de cubes SCHRDLU de Winograd) Dialogue téléphonique (ARISE, MIT-ATIS) Interaction Multimodale (TRAINS, DEN-K, TYCOON), couvre toutes les variantes Variantes de lobjet (sujet) de linteraction Retour de données (recherche sur la Toile, dans une BD) Dialogue orienté tâche – dialogue dirigé Interaction dans plusieurs modalités (linguistique, spatiales, temporelles)

Guillaume Pitel - Exposé Groupe AMI 19/11/ Méthodologie Mon Problème Ré-utilisabilité incrémentale pour la Généricité Travaux corrélés Allen (TRIPS) Travaux en DHM se dirigent vers la généricité (coût de développement des systèmes trop lourd) Ma Solution : TPV (Théorie des Points de Vue) R-Obs (Règles-Observateurs)

Guillaume Pitel - Exposé Groupe AMI 19/11/ Architectures de dialogue TRAINS / TRIPS (J. Allen, Univ. Rochester) DenK (H. Bunt, Univ.Tilburg)

Guillaume Pitel - Exposé Groupe AMI 19/11/ TRAINS / TRIPS (Allen) - 1/4 TRAINS : Aide à laiguillage de trains TRIPS : Système de planification interactif

Guillaume Pitel - Exposé Groupe AMI 19/11/ TRIPS : Schéma de fonctionnement - 2/4 Discourse Context Reference Manager Task Manager Behavioral Agent Generation Manager Interpretation Manager Speech recognition parsing GUI Events Sentence Generation Display Planning Events & Information from External Sources Back-End Applications External Agents INTERPRETATION BEHAVIOR GENERATION

Guillaume Pitel - Exposé Groupe AMI 19/11/ TRAINS / TRIPS – 3/4 IM, BA, GM communiquent selon un modèle Abstrait de Résolution de Problème Collaboratif (Concepts manipulés : [Objectifs, Solutions, Ressources, Situations]) Task Manager : Répond aux questions sur les objets et leur rôles (est-ce que x est une ressource / un objectif ?) Fournit linterface entre les actes génériques de résolution de problème (BA) et les agents spécifiques à la tâche qui effectuent la résolution Fournit des services de reconnaissance dintention au IM.

Guillaume Pitel - Exposé Groupe AMI 19/11/ TRAINS / TRIPS - 4/4 Séparation entre Interprétation du Discours et Raisonnement sur la tâche / le domaine implique : La frontière entre partie générique et partie spécifique se situe au niveau des concepts manipulés par le modèle abstrait La portabilité est facilitée puisque les modules sont clairement indépendants, mais la ré- utilisabilité est faible voire inexistante.

Guillaume Pitel - Exposé Groupe AMI 19/11/ D EN K (H. Bunt) – 1/4 Plusieurs modalités en sortie Représentation du contexte dans le même formalisme que la représentation de la communication (Constructive Type Theory) Interprétation en deux étapes : Indépendante du contexte Sensible au contexte

Guillaume Pitel - Exposé Groupe AMI 19/11/ D EN K – Architecture de lassistant coopératif – 2/4 Natural Language User Input Parser HPSG Underspecified Logical Form (ULF) Pragmatic Rule Interpreter Quantifier Scoping, Referent Determination ULF Context Information Constructive Type Theory (CTT) PRIVATECOMMON Output to User Evaluator LOOKS GDP (Visualisation) Proof Checker Reasoning System Conceptual Lexicon ULF CTT

Guillaume Pitel - Exposé Groupe AMI 19/11/ D EN K – 3/4 Les règles du Pragmatic Rule Interpreter sont pour la plupart ad-hoc Seules deux modalités (belief et believed shared belief) ont été considérées pour le système de raisonnement. La modalité temporelle est envisagée pour lavenir. La séparation interprétation hors contexte/en contexte implique lutilisation de lULF, représentant les différentes interprétations possibles pour une même phrase.

Guillaume Pitel - Exposé Groupe AMI 19/11/ D EN K – 4/4 La frontière générique/spécifique du système semble se situer à trois endroits : le lexique conceptuel, (HPSG CTT) les règles ad-hoc du PRI, (CTT CTT) le système de raisonnement et les modalités quil considère. (CTT LOOKS)

Guillaume Pitel - Exposé Groupe AMI 19/11/ Problème de lanalyse de linteraction Considération du contexte A partir doù ? Comment ? Sur quelles modalités ? Considération des différents aspects de la langue Phonologie/Morphologie, Syntaxe, Sémantique, Pragmatique Discours / Dialogue

Guillaume Pitel - Exposé Groupe AMI 19/11/ Considération du Contexte Contexte linguistique Discourse Representation Theory (Kamp) Centering Theory Contexte Opérationnel Résolveurs de référence AD-HOC Calcul référentiel & Grammaire Cognitive (S. Salmon-Alt)

Guillaume Pitel - Exposé Groupe AMI 19/11/ Aspects de la langue HPSG/GPSG Construction Grammar Shallow parsing Définissent des formalismes figés

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Objectifs Rendre extensible la frontière entre traitement indépendant / spécifique à la tâche Intégrer le contexte dans chaque étape de lanalyse Prendre en compte des modalités non prédicatives

Guillaume Pitel - Exposé Groupe AMI 19/11/ Frontière générique/spécifique Une ontologie est facilement extensible Mais les opérations (règles) sur lontologie et lontologie elle-même sont séparés. Ce qui est important, cest de pouvoir étendre facilement les opérations

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Contexte Les règles utilisées dans lanalyse doivent pouvoir prendre en compte des entrées dans des modalités différentes. Ex. : Une règle produisant un point de vue syntaxique sur un morphème grammatical doit pouvoir prendre en compte des points de vue provenant de lanalyse sémantique de ses voisins.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Modalités non représentables en logique des prédicats Les entrées de règles peuvent provenir denvironnements différents, Cela introduit la possibilité de gérer des aspects relationnels plus riches entre les entrées.

Guillaume Pitel - Exposé Groupe AMI 19/11/ Proposition Une ontologie active constituées de règles-observateurs (R-Obs) Un ensemble denvironnements pour gérer les différentes modalités des applications quon souhaite médier.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Types Conceptuels

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Types Conceptuels Typologie non hiérarchisée Fonctions de vérification passives Les attributs des types sont typés librement (fonction de vérification). Tous les types sont admissibles : atomiques, composés, fonctions, objets, classes

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Règles Observateurs

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Règles Observateurs Connecteurs Event Handler Environnement Type Conceptuel Event Handler Activation Rule SELECTIONNE FOCUS POSTE REQUETES DANS ENVIRONNEMENTS ObserverActivation = instance dactivation de la règle Checking Function Action Function Ling : LinguisticEnvironment 2D : 2DEnvironment Environment Links

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Règles Observateurs LOA travaille sur une instanciation partielle des connecteurs. Elle est complétée au fil des modifications des environnements. La cohérence structurelle est réglée par la règle dactivation (AR). Cest elle qui permet de sélectionner les bons objets des lenvironnements.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Fonctions de vérification La fonction de vérification est appliquée sur le contenu des objets instanciés par la AR Lutilisation dune règle structurelle (AR) permet de factoriser un grand nombre de vérifications provenant de différents observateurs AR donne une grande souplesse pour décrire le contexte.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – R-Obs - Requêtes Les requêtes sont émises par les OA pour spécifier quelles ont besoin dun certain objet dans une certaine zone dun environnement. Si une R-Ob possède un EventHandler sur son connecteur de sortie et que ce connecteur produit le type désiré, la R-Ob est activée.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Règles Observateurs – Questions Une R-Ob peut-elle en créer une nouvelle (résolution des anaphores) ? Les R-Obs doivent-elles avoir un focus statique (permet de limiter la durée de vie et de réduire lespace de recherche) ? Comment pondérer les requêtes / lexécution des OA (problème du contrôle dans les Blackboards) Doit-on limiter les types de donnée admissibles dans les attributs

Guillaume Pitel - Exposé Groupe AMI 19/11/ – La population des R-Obs Type Conceptuel Règle-Observateur

Guillaume Pitel - Exposé Groupe AMI 19/11/ – La population des RO : point de vue Ontologique Il ny a plus de relation de type is-a ou part-of, … entre types conceptuels. On peut dire en revanche : des objets x,y,z de types respectifs A,B,C observant les relations I1 env (x,y,z), … In env (x,y,z) peuvent être vu (PEV) comme un objet de type Ct i dans lenvironnement env.

Guillaume Pitel - Exposé Groupe AMI 19/11/ Environnements Un environnement est un espace doté dun type POSITION propre et dopérations de types : (p 1 :POSITION ENV, …, p n :POSITION ENV ) p:POSITION ENV (p 1 :POSITION ENV, …, p n :POSITION ENV ) b:BOOLEAN Il peut disposer dautres opérations non utilisées par lAR, qui seront utilisées comme des outils par les R-Obs

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Environnements

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Exemple denvironnement : LING Espace de Ling : une dimension discrète Type de Position : le segment Opérations : Union(P,P) P Intersection(P,P) P Soustraction(P,P) P Inclusion(P,P) B Precede(P,P) B Distinct(P,P) B

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Environnements : Ling Déplace le carré à gauche du cercle en bas à droite « Déplace le carré à gauche du cercle en bas à droite »

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Vue densemble Actions Perceptions Tests / Calculs Définir les R-Obs pour passer dactions génériques sur des objets spécifiques à des actions spécifiques Ex: si PEV comme CWobjet et si PEV comme CWposition Concept Générique Concept Spécifique Définir les R-Obs pour passer des objets spécifiques du discours à des objets génériques (p.ex carré ) Définir les R-Obs pour passer des tests ou calculs sur des objets génériques à des tests ou calculs sur des objets spécifiques (p.ex objet plus à droite que objet :

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Vue densemble Si cette architecture est viable en pratique, la frontière de limplémentation spécifique se réduit alors à ce qui nest vraiment pas généralisable. Le problème est NP-complet en théorie, mais la principe de coopération (Grice) permet de penser quil ne lest pas en pratique.

Guillaume Pitel - Exposé Groupe AMI 19/11/ –Généricité R-Obs vs. Allen Généricité dans TRIPS : sarrête aux concepts gérés par les agents génériques (résolution de problème) Généricité dans les formalismes linguistiques : sarrête aux rôles acceptés par les processus de raisonnement implémentés au-dessus Généricité dans mon système : extensible comme une ontologie sans être restreint par les relations possibles.

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Conception Interactive Larchitecture est dynamique Le concepteur peut donc tester directement si lajout dune R-Ob entraîne leffet souhaité, si elle entraîne un disfonctionnement de lanalyse (interférence), le concepteur doit pouvoir analyser ce disfonctionnement La complexité de la mise en place des R-Obs impose un outil de déboguage Plusieurs visualisations sont nécessaires : La population des RO + les Types Conceptuels Le contenu des Environnements

Guillaume Pitel - Exposé Groupe AMI 19/11/ – Conception interactive Comment effectuer les réglages pour trier les choix possibles dans lexploration de lespace de recherche ? Est-ce que le problème de la conception interactive du système fait vraiment partie du problème ?

Guillaume Pitel - Exposé Groupe AMI 19/11/ Conclusion & Perspectives Le travail de mise en œuvre nest pas achevé. Plusieurs difficultés techniques pour la mise en place. Les perspectives de recherche sur ce travail sont importantes. Cest un réceptacle pour réfléchir sur les connecteurs grammaticaux et leur action dans la référence par exemple. Une réflexion sur lintroduction des probabilités sera nécessaire pour rendre le système utilisable à grande échelle.