MICS: Modèle d’Interprétation Constructionnelle Située Une proposition de modèle unifié pour l'analyse linguistique et la simulation mentale à visée applicative Guillaume Pitel LORIA (Nancy)

Guillaume PITEL - LORIA - 23/06/2006 Plan Motivations pour un modèle hybride Le MICS Notions Fonctionnement Théorie des points de vue Modèle fonctionnel de résolution de la référence vague Reference Domains as contexts Implemention in the SCIM Guillaume PITEL - LORIA - 23/06/2006

Motivations pour un modèle hybride Historique de mes travaux de thèse Motivations Quelques constats sur les modèles existants en NLU Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Historique Travaux réalisés en thèse - LIMSI, J.P. Sansonnet Résolution de la référence concrète dans les systèmes de dialogue Adaptation à tâche/domaine Points de vue différents selon domaine/situation Bcp d’information d’interprétation en surplus Interprétation guidée de manière croisée (visuel guidant linguistique) Modèle d’interprétation unifié Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Motivations Objectifs principaux Définir un modèle d’interprétation capable de décrire Les traitements cognitifs (résolution de prob, apprentissage, planification) Les traitements linguistiques Objectifs secondaires Faciliter la conception de systèmes de NLU en contexte Adaptable, efficace et robuste Couches numériques apprenables (coût, gain, confiance, prob. conditionnelle de transition) Système de pruning basé sur ces couches Description par contraintes souples Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Quelques constats (1) La notion de Construction revient en force 4ème édition de ICCG cette année Création de la revue “Constructions” en 2005 Travaux sur aspects computationnels de la CxG ECG (2ème version d’analyseur) - Bryant, ICSI FCG (Fluid Construction Grammar) - Steels, Sony CSL Futur Workshop sur Computational Construction Grammar (précédemment inclus dans SCANALU) Lien entre CxG et modèles de simulation cognitive ECG + Mental Simulation (SHRUTI - Narayanan) CxG = formalistion de la Grammaire Cognitive Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Quelques constats (2) Approches modulaires hétérogènes Plus Approches optimales pour chaque sous-problème Moins Posent problème au niveau des interfaces entre modules Interactions entre modules doivent être prévues en amont de la conception Chaque module doit être adapté à une nouvelle tâche/domaine Apports d’une approche homogène pour le NLU? Guillaume PITEL - LORIA - 23/06/2006

Parallèle avec langages info. Langages purs sont limités Assembler - high efficiency / no abstraction C - variable and function abstraction / no generalizing or functional feature natively Lisp, Haskell - no imperative feature Smalltalk - low efficiency / high generalizing feature Les langages hybrides plus pratiques OCaml - Functional+Imperative(+Object) C++/Java - Imperative+Object+Native types Guillaume PITEL - LORIA - 23/06/2006

Parallèle avec langages info. Décrire un programme + facile avec plusieurs modes d’expression Conception modulaire hétérogène (avec des langages diff.) rend le maintien et l’évolution + difficile (une modif. dans un module entraîne une cascade de modif. dans les autres) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Le MICS Vue d’ensemble Inspirations ECG Production Systems Espaces Mentaux et Blending Notions de MICS Fonctionnement Guillaume PITEL - LORIA - 23/06/2006

Le MICS - Vue d’ensemble Combinaison de plusieurs approches/notions Embodied Construction Grammar Production Systems Espaces Mentaux + couche numérique (apprentissage/adaptation) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG CxG : une construction est une mise en relation entre une forme et une signification Formalisation de la CxG (Bergen, Chang, 2003) implémenté dans (Bryant, 2004) http://www.icsi.berkeley.edu/~jbryant/analyzer.html ECG is a formalism for defining construction grammars that has two important virtues: It's semantic notation is designed to be compatible with embodied (cognitively-plausible) meaning. It is computationally precise and thus can be implemented Thus is has the virtues of HPSG / LFG, but without their non-cognitive drawbacks Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG Notions Schémas - décrit les structures de données et les contraintes sur celles-ci / dans une hiérarchie de type Constructions - appariements entre données typées par les schémas entre le pôle forme et le pôle signification / dans une hiérarchie de constructions Une construction “construit” le schéma de son pôle signification en fonction d’un schéma du pôle forme, et d’autres constructions Espaces mentaux - groupements de représentations liées par un même point de vue Map - appariements entre espaces (projection d’un espace vers un autre) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG Par rapport à la CxG, ECG introduit un nouveau mécanisme : evoke Un schéma peut évoquer un autre schéma Une construction peut évoquer un autre schéma en plus de celui de son pole meaning Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 ECG Guillaume PITEL - LORIA - 23/06/2006

Systèmes de production SOAR (Newell), ACT-R (Anderson) Notions Chunks (structures de données) Buffers (conteneurs de données) Règles de production (observation/action sur les buffers) Guillaume PITEL - LORIA - 23/06/2006

Systèmes de production Guillaume PITEL - LORIA - 23/06/2006

Systèmes de production En associant des temps de réponse aux règles de production et aux accès aux buffers, on peut vérifier qu’un modèle correspond aux observations expérimentales Guillaume PITEL - LORIA - 23/06/2006

Espaces Mentaux, Blending Les espaces mentaux permettent de modéliser des configurations de représentation correspondant à Différents point de vue, Différentes situations, Différentes hypothèses Le blending Modèle de raisonnement par analogie, de création de transitions métaphoriques par fusion d’espaces mentaux (ex: le moine et la montagne) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Vers le MICS Les systèmes de productions Sont assez expressifs (équivalence turing), Mais difficiles à utiliser pour modéliser des constructions ou d’autres connaissances grammaticales (et ce n’est pas leur objectif) L’ECG N’est pas assez expressive pour modéliser des phénomènes cognitifs hors langue Mais très pratique pour linguistique et cognitivo-compatible Et constructions proches de règle de production Espaces mentaux Une simple notation qui doit être intégrée dans un modèle de traitement Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Le MICS : idées de base Tenter une unification de... Traitement grammatical Traitement sémantique Espaces mentaux, Structures spatiales Métaphores (Blending, Coercion), Traitement pragmatique Simulation mentale (dynamic / procedural model) Tâches complexes (strategy, planning...) Hybridation entre Traitement symbolique Traitement numérique Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 MICS : Notions de base Schémas Décrivent la structure des données et les contraintes sur les valeurs (structures de traits contraints) / 2 versions: avec ou sans hiérarchie Contextes Représentent les structures pour aggréger les instances de Schemas, Permet de décrire des relations topologiques dans ces structures Inspirés par les Buffers, Espace Mentaux et représentations spatiales S-Constructions (constructions situées) Représentent la construction de nouvelles instances de schémas à partir de contextes dans d’autres contextes Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Schémas Par rapport à ECG : Etant donné la puissance des s-constructions, pas besoin du mécanisme d’évocation Introduit la notion de rôle mutable (contient une valeur liée au temps) - les rôles “normaux” sont figés une fois contraints à une valeur 2 versions : avec hiérarchie de type ou sans On peut choisir de ne pas avoir de hiérarchie de types (on n’hérite pas les comportements, tout en gardant un héritage de roles et de contraintes) Chaque role des schémas dans la version sans hiérarchie doit être typé (car pas de type TOP) par des types bas niveau (vrai/faux, entier, flottant, texte) ou des schémas. Pour la suite : version sans hiérarchie Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Instances de Schémas Une instance de schéma représente une perception, une information de l’interprétation, ou un point de vue sur une information Plusieurs points de vue contradictoires peuvent éventuellement coexister Identifiant unique associé à chaque instance Information sur les instances à partir desquelles une instance est créée : on dispose d’une contrainte pour vérifier la dépendance dans les s-constructions Informations numériques Confiance Informativité Coût (simulé ou calculé par le nombre de contraintes à vérifier par exemple) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Schémas Schema SortingStatus Roles ?nbRemaining: Integer nbTotal: Integer Constraints lowerEq(nbRemaining, nbTotal) Schema RefObject Roles gender: #M|#F|#N number: Integer|#Sg|#Pl Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Schémas : formalisme Schema <schema-id> Inherits <schema-id0, ..., schema-idn> Roles [?]<local-type-id>:<atomic-type-id> [?]<local-context-id>:<context-id>[@<local-context-id>] [?]<local-schema-id>:<schema-id>[@<local-context-id>] Constraints <boolean-operation>(<constraint0>, ..., <constraintn>) <role-id> ← <atomic-value>|<function>(<atomic-value>,…) <role-id> ↔ <role-id>|<C-function>(<role-id>) <role-id>  <role-id> <boolean-predicate>(<role-id0>, ..., <role-idn>) Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Contextes Décrit comment les instances de schémas peuvent être groupés et structurés (information relationnelle) Un Contexte est un schéma avec des lieux et des relations Les lieux définissent les types qui décrivent la place occupée par une instance dans un contexte Les relations décrivent les contraintes qui peuvent être posées sur la position respective des instances de schéma La manière dont les contraintes relationnelles et les positions sont évaluées en interne (vérification, propagation) n’est pas décrite et dépend de l’implémentation Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Contextes Exemples Context SortedDomain Roles ?card: Integer ?empty: Boolean ?filled: Boolean extractorRef: Extractor dest: PossiblePartDomain Places node Relations similFactor(node, node) ↦ R+ Operations first() ↦ node last() ↦ node next(node) ↦ node Context WordForm Places Word Relations before(Word,Word) ↦ Boolean beforeN(Word,Word,Integer) ↦ Boolean meets(Word,Word) ↦ Boolean Context sorted by size Guillaume PITEL - LORIA - 23/06/2006

Contextes : formalisme Context <context-id> Inherits <context-id0, ..., context-idn> Roles // idem schemas roles Constraints // idem schemas constraints Places <place-id> Relations <relation-id(<place-id>, <place-id>,…,<type-id>)> ↦ <type-id> // for instance: before(point, point) ↦ Boolean Operations <operation-id>(<place-id>, <place-id>,…, <type-id>) ↦ <place-id> // for instance: intersection(segment, segment) ↦ segment Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 S-Constructions Comme les Constructions de ECG, Un ensemble de contraintes sur l’entrée, un ensemble de contrainte sur la sortie S-Construction définit un type fonctionnel dans une hiérarchie Mais S-Constructions dirigées (entrée -> sortie), Les E/S d’une S-Construction (pôles) peuvent être plusieurs contextes différents ou non (indécidabilité), Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 S-Constructions Les S-Constructions reconnaissent Instances de Contextes/Schémas par les contraintes sur les types, la valeur des rôles et les relations dans les contextes Instances de S-Constructions (partie constructional) ... et produisent De nouvelles instances de Contextes/Schémas Guillaume PITEL - LORIA - 23/06/2006

S-Construction : Formalisme s-construction <s-construction-id> inherits <s-construction-id0, …, s-construction-idn> roles // idem schema's roles constructional <local-s-constr-id>: <s-construction-id> constituents <local-ctx-id>: <context-id>[@<local-ctx-id>]/I|O|IO <local-constit-id>: <schema-id>[@<local-ctx-id>]/I|O|IO constraints // idem schemas constraints, plus : // a role-id can be marked as mutated: ?<role-id> // a place-id is either a <local-constit-id> or the result of a // context operation like: // <local-ctx-id>.<context-operation-id>(<place-id>, ...) <role-id> ⊂ <role-id> // right hand side must be parent <local-ctx-id>.<context-relation-id>(<place-id>, ...) OUT(<local-constit-id>) // remove the situated instance Guillaume PITEL - LORIA - 23/06/2006

Architecture de traitement Primary working space Instances of schemas Expectations Instances of contexts Instance of construction Guillaume PITEL - LORIA - 23/06/2006

Architecture de traitement Preactivation Stack (S-Cons w/ Expectations) Standby Stack Update S-Construction Execution gain Select Eligible S-Constructions Execution Stack Events (from WS) Guillaume PITEL - LORIA - 23/06/2006

Architecture d’exécution Sélection et exécution des S-Constructions guidée par Gain informatif Direct : a value given by the Schema(s) produced + the informative value of their inputs + a proper gain Indirect : the potential gain of a S-Cons expecting their output (evaluations can be used) Coût Depend on the cost of inputs + the S-Cons cost Confiance Decreases when unsatisfied constraints are ignored a S-Cons unlikely to happen in a given task/domain has low confidence Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Le MICS : faisabilité Le modèle de traitement est indécidable Des heuristiques pour guider l’analyse Attentes : principe du top-down/bottom-up, attentes peuvent provenir d’informations de tous niveaux (autres modalités de perception, connaissances sur la tâche, sur la situation) Optimisation numérique Compromis - Efficacité/ + expressivité Perte d’efficacité contrebalancée par la possibilité de surimposer un couche numérique pour guider l’analyse Les contextes permettent de guider l’analyse par des “attentes” fixées localement Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Origine référence à différents aspects d'une même entité, inadéquation de l'héritage simple pour certains concepts. Modélisation d’une partie du pouvoir des logiques de description Méthode définition d'une “représentation” d'une entité : très difficile de trouver la “bonne” représentation définition des “concepts” et des relations entre eux Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Référence à différents aspects un tableau Point de vue “matrice” Point de vue “suite de lignes” Point de vue “suite de colonnes” Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue un cercle Point de vue “centre + rayon” Point de vue “diamètre” Point de vue “cercle circonscrit” p1 rayon p3 p1 centre p2 p2 Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Inadéquation de l'héritage figure géométrique est-un rectangle est-un carré Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue rectangle : déformable librement en largeur ou en hauteur figure géométrique est-un Déformation : x : 100% y: 150% rectangle est-un carré Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Problème : rectangle : non déformable librement en largeur et hauteur ? ou carré : pas une figure géométrique ? Solutions possibles : un concept “objet déformable librement” des cas particuliers non hérités (hors paradigme) Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Autre solution : TPV concepts : pas de structure relationnelle statique relations : transitions dynamiques dépendantes du contexte Implication “carré” est un point de vue sur une entité, Un rectangle Peut Etre Vu comme un carré si H=L Points de Vue non attachés aux entités, établis dynamiquement pendant l’interprétation en fonction du contexte. Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Types bas niveau Points de vue Transitions si H=L FigRect2D.Double Rectangle Carré Rectangle Rectangle Carré Carré FigRect2D.Double Rectangle Guillaume PITEL - LORIA - 23/06/2006

Théorie des points de vue Ex: L’herbe PEV comme nourriture si consommateur de l’herbe PEV comme un herbivore L’herbe PEV comme une forêt si l’observateur PEV comme plus petit qu’un demi brin d’herbe Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Conclusion Points principaux “Peut Etre Vu” : pas une relation entre concepts, résumé de l'action d'une transition Proche de la notion de coercition de type programmée Pas d'héritage de comportement, Remarques Plus proche de l'intuition, Plus coûteux qu’une hiérarchie statique, mais plus expressif Peut-être pas indispensable pour tous les shémas Guillaume PITEL - LORIA - 23/06/2006

Résolution de la référence concrète Guillaume PITEL - LORIA - 23/06/2006

Résolution de la référence concrète Cas de la référence spatiale « le rond le plus à droite de X » Guillaume PITEL - LORIA - 23/06/2006

Résolution de la référence concrète Référence concrète dépend de rôle de l'imprécision (couleurs, formes), rôle des prédicats relationnels (taille, position), représentation des entités référençables, Caractéristiques courantes distinctions entre prédicats sur caractères typologiques, intrinsèques ou relationnels, les expressions référentielles ayant une extension (pas d’ellipse) Guillaume PITEL - LORIA - 23/06/2006

Résolution de la référence concrète Extracteurs rôle d'un prédicat participant à la sélection des entités, s'oppose au rôle de producteur ou d'opérateur de reconnaissance. Exemples “Donne-moi le crayon blanc” : extracteurs, “Dessine-moi un mouton noir” : producteurs, “Est-ce que cet animal est un chat” : opérateur de reconnaissance. Guillaume PITEL - LORIA - 23/06/2006

Catégories d'extracteurs Typologie courante pour les prédicats dans les ER: Typologiques concernent le type de l'entité cible, généralement lié à un nom. Intrinsèques concernent une caractéristique propre à l'entité cible, accède uniquement à la représentation de l'entité. Relationnels concernent au moins deux entités, nécessitent d'accéder à une représentation de niveau supérieur. Guillaume PITEL - LORIA - 23/06/2006

Point de vue unifié sur les extracteurs Cas limites : les extracteurs ont le même comportement. Typologiques les formes non parfaites sont catégorisées en fonction du contexte. ► les extracteurs typologiques peuvent être relationnels. Contexte A Contexte B “Efface le carré” Guillaume PITEL - LORIA - 23/06/2006

Point de vue unifié sur les extracteurs Extracteurs Intrinsèques dans certains contextes les couleurs sont associées différemment. ► les extracteurs intrinsèques peuvent être relationnels, ► phénomène de groupement non spatial → tri des entités sur une échelle continue. Contexte A Contexte B “Choisis les carrés rouges” Guillaume PITEL - LORIA - 23/06/2006

Point de vue unifié sur les extracteurs Conclusion : Méthode logique prédicative insuffisante prédicats référentiels relationnels - grand(x) : évidemment inapplicable sauf cas exceptionnel (norme), intrinsèques - rouge(x) : apparemment applicable, mais en réalité permet seulement de représenter le rôle d'opérateur de reconnaissance, typologiques - carré(x) : apparemment applicable, mais présuppose la perfection des catégories. Guillaume PITEL - LORIA - 23/06/2006

Point de vue unifié sur les extracteurs ● La représentation des entités par une approche prédicative, et la résolution de la référence par cette même approche, ne fonctionne que dans des cas très restreints. ►les cas imprécis ou relationnels doivent être traités de manière ad hoc, dans des modules hétérogènes ►approche non générique Guillaume PITEL - LORIA - 23/06/2006

Point de vue unifié sur les extracteurs Cas général et cas particuliers le cas général pour tous les extracteurs semble être le type relationnel cas particuliers : normes (carré parfait, couleur parfaite, taille de certaines entités) et leurs variations inter-personnelles On cherche un modèle général pour les extracteurs relationnels et ensuite intégrer les cas particuliers des autres extracteurs Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Modèle de résolution S'appuie sur Domaines de Référence – [Corblin, Reboul, Salmon-Alt] Fondé sur une fonction de comparaison la base de la représentation des extracteurs est une fonction de comparaison entre deux éléments. la fonction est propre à l'extracteur, mais peut être composée à partir d'une autre (petit = inverse grand) ►insuffisant pour répondre à “les X” ou “des X” ►insuffisant pour répondre à “tous les X” car il faut exclure les éléments hors-jeu Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Modèle de résolution Fonctions de partitionnement à chaque extracteur une fonction de partitionnement : possibles/impossibles préférés/possibles Etapes de la résolution tri partitionnement possibles/impossibles partitionnement préférés/possibles Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Modèle de résolution Schéma d'exécution d'un extracteur Etapes pour calculer l'action de l'extracteur « carré » Tri Liste des éléments 1.0 0.8 0.9 0.0 1.0 Partition possibles/impossibles 1.0 0.8 0.9 0.0 1.0 Partition préférés/possibles 1.0 0.8 0.9 0.0 1.0 Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Modèle de résolution Schéma d'exécution d'une expression référentielle contexte trié/carré contexte trié/grand Ce que voit l'utilisateur contexte partitionné_1/carré contexte partitionné_1/grand contexte partitionné_2/carré contexte partitionné_2/grand Guillaume PITEL - LORIA - 23/06/2006

Résolution Fonctionnelle de la Référence dans MICS En MICS, un prédicat s’exprime avec 3 contexts (1 for each step) + 1 for the whole resolution of a predicate 1 bootstrapping s-construction 1 s-construction placing a Point of View at the right place in the ordered context 1 s-construction stating that ordered context is full 3 bootstrapping s-construction (possible,impossible,preferred) 3 ''placing'' s-constructions (possible,impossible,preferred) 2 s-constructions stating that each context (possible/impossible and preferred/possibles) is full Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Exemple s-construction ExtractBigBtwSquareSquare constituents domSrc: BaseDomain domDest: SortedDomain x: SquareRef@domDest/I yS: SquareRef@domSrc/IO yD: SquareRef@domDest/O constraints domSrc.dest ↔ domDest domSrc.extractorRef.type ↔ BigExtractor yS.ref ↔yD.ref domDest.similFactor(x,yD) ← DIV(x.ref.Figure*size.width , yD.ref.Figure*size.width) OUT(yS) Guillaume PITEL - LORIA - 23/06/2006

Overview Utterance (u8;speaker=s3) Dialogue (d1) Instances of contexts Utterance (u7;speaker=s2) Utterance (u8;speaker=s3) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') first Utterance from outside world : ''zoom on the little red car'' Instances of schemas Guillaume PITEL - LORIA - 23/06/2006

Overview Outside world Application (traffic control) 2DSpace (sp1) car2 car1 truck8 car3 car4 car5 Dialogue (d1) car6 car7 Utterance (u7;speaker=s2) Utterance (u8;speaker=s3) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') first Guillaume PITEL - LORIA - 23/06/2006

Overview Guillaume PITEL - LORIA - 23/06/2006 Semantic (semDirect) 2DSpace (sp1) Semantic (semDirect) VbZoom CxZoom (cx1) RefExp (re1; definite;singular) Dialogue (d1) Extractor (e1; pred=car) Extractor (e2; pred=red) Extractor (e3; pred=little) Utterance (u7;speaker=s2) CxRefExp (cx2) Utterance (u8;speaker=s3) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') CxExtractor(cx3,cx4,cx5) first Guillaume PITEL - LORIA - 23/06/2006

Overview Guillaume PITEL - LORIA - 23/06/2006 CxCarAsRefObj RefResolution (rr1) RefExpResolution (rer1) Extraction (ex1; extractor=e1) Extraction (ex2; extractor=e2) Extraction (ex3; extractor=e3) RefSorted [r1..r8] RefSorted [r2,r7,...] RefSorted [r7,r2] RefObj (r1) RefPart1 [r1..r7|r8] RefPart1 [r2,r7|...] RefPart1 [r7|r2] 2DSpace (sp1) RefPart2 [r1..r7||r8] RefPart2 [r2,r7||...] RefPart2 [r7 || r2] Semantic (semDirect) Dialogue (d1) VbZoom Utterance (u7;speaker=s2) RefExp (re1; definite;singular) Extractor (e1; pred=car) Extractor (e2; pred=red) Extractor (e3; pred=little) Utterance (u8;speaker=s3) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') first Guillaume PITEL - LORIA - 23/06/2006

Overview Guillaume PITEL - LORIA - 23/06/2006 Ref (ref1; ref=r7) RefResolution (rr1) RefExpResolution (rer1) Extraction (ex1; extractor=e1) Extraction (ex2; extractor=e2) Extraction (ex3; extractor=e3) 2DSpace (sp1) RefSorted RefPart1 RefPart2 Semantic (semDirect) Dialogue (d1) VbZoom Utterance (u7;speaker=s2) RefExp (re1; definite;singular) Ref (ref1; ref=r7) Extractor (e1; pred=car) Extractor (e2; pred=red) Extractor (e3; pred=little) Utterance (u8;speaker=s3) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') first Guillaume PITEL - LORIA - 23/06/2006

Overview Outside world Application RefResolution (rr1) Location (l1) RefExpResolution (rer1) LocatedObject (lo1) Extraction (ex1; extractor=e1) Extraction (ex2; extractor=e2) Extraction (ex3; extractor=e3) RefSorted CxLocObjAsLoc CxCarAsLocObj RefPart1 RefPart2 2DSpace (sp1) Semantic (semDirect) VbZoom Dialogue (d1) Outside world Application RefExp (re1; definite;singular) Ref (ref1; ref=r7) Utterance (u7;speaker=s2) Extractor (e1; pred=car) Extractor (e2; pred=red) Extractor (e3; pred=little) Actions (a1) Utterance (u8;speaker=s3) DirectedZoomAction (dza1;location=l1) last Word (w42; orth= ''zoom'') Word (w43; orth= ''on'') CxZoomOnLoc first Guillaume PITEL - LORIA - 23/06/2006

Guillaume PITEL - LORIA - 23/06/2006 Conclusion Modèle unifié d’interprétation combinant CxG Espaces Mentaux Règles de productions Mise en oeuvre Complexité : indécidable Heuristiques applicables pour guider l’analyse en fonction de la situation/tâche/domaine La suite… Guillaume PITEL - LORIA - 23/06/2006