Dialogue Finalisé et Navigation Interactive dans les Documents Mise en parallèle autour de la référence Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1. Retour sur l’objectif de l’ASP Dialogue Finalisé Qu’est-ce que c’est A quoi ça sert ? Dialogue Finalisé et NID Adaptation à la navigation interactive Intérêt du dialogue Proposition Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.1. Qu’est-ce que le dialogue finalisé ? Imitation d’un sous-cas du dialogue humain, viable pour la mise en œuvre informatique. Un des interlocuteurs est remplacé par un ordinateur, et joue le rôle d’un exécutant possédant un contrôle étendu sur une application. Le dialogue finalisé implique que le contexte du dialogue soit clairement limité à un domaine et une tâche précise Connaissances communes Perceptions communes Connaissances communes Perceptions communes Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.1. Qu’est-ce que le dialogue finalisé ? Déterminé par deux critères : Domaine détermine les champs sémantiques et les connaissances ontologiques générales nécessaires pour soutenir le dialogue. Par exemple, une application de réservation de train va utiliser le vocabulaire du voyage, des horaires, des villes. Tâche détermine les structures sémantiques à construire (connaissances ontologiques spécifiques à la tâche), les structures dialogiques à gérer et les connaissances pragmatiques à prendre en compte (entités gérées par l’application et qui peuvent faire l’objet de références dans le discours, historique des événements) Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.1. A quoi sert le dialogue finalisé ? L’intérêt principal du dialogue finalisé réside dans le fait qu’il soit adapté aux utilisateurs novices. Il permet théoriquement un accès plus rapide et plus intuitif à des fonctions complexes des applications. Il permet théoriquement la génération de réponses plus naturelles aux requêtes de l’utilisateur. Toutes les mises en œuvre existantes du Dialogue Homme Machine sont des applications de dialogue finalisé (sauf les Eliza-like qui ne sont pas vraiment du DHM). Et on ne sait absolument pas faire du dialogue général. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.2. Navigation Interactive dans les Documents Objectif à long terme Permettre à un utilisateur novice de naviguer dans un document ou un ensemble de documents hétérogènes. La navigation se décompose en deux axes : Navigation dans la structure Navigation dans le contenu Programme prévu Première année : 1) Accent mis sur les outils de structuration de représentation et de médiation de documents. 2) Etude des modes de parcours dans les applications cible : Deuxième année : Accent mis sur les outils de navigation multimodaux et l'architecture système pour la navigation monodocument : Interaction et traitement de la communication multimodale, Analyse de requêtes isolées en LN, Assistance sur le fonctionnement fondée sur le raisonnement sur les actions. Troisième année : Accent mis sur les outils d'interaction inter documents : généralisation au multi (multi-documents, multi-requêtes) Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.2. Dialogue finalisé et Navigation Interactive dans les Documents Domaine Forte dépendance au contenu du ou des documents dans lesquels on navigue. Seul cadre commun : la structure des documents, avec des points communs comme les titres, résumés, sections, paragraphes, etc. et la navigation interactive, qui détermine assez fortement le champ sémantique des actions (aller à, faire voir, ?) et l’utilisation de questions. Tâche Dépendante du type de document : selon que l’on a affaire à un cours, à un manuel de référence où à un catalogue, l’objectif de l’utilisateur ne sera pas le même, et donc la gestion du dialogue en sera modifiée. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.2. Dialogue Finalisé et Navigation Interactive dans les Documents Ce qu’on voudrait faire Un système de dialogue finalisé commandant une application de navigation dans les documents, intégré à un système multimodal. Apports Interface Linguistique : Plus rapide qu’une interface graphique (est-ce nécessaire pour la NID ?), plus naturelle, permettrait de naviguer dans les très gros documents. Questions Q&A : résultats plus fins que les moteurs de recherche, sans nécessiter l’apprentissage d’un langage de requête évolué. Problème Le fait que le domaine dépende des documents sur lesquels on navigue fait qu’on devrait se concentrer sur des documents autour d’un thème précis. En effet, le domaine doit être fixé pour permettre de déterminer les corpus à utiliser pour entraîner la reconnaissance vocale, mais aussi pour définir l’ontologie permettant l’analyse sémantique des énoncés. Comme le domaine varie d’un document à l’autre, il n’est pas possible de créer une application générale de NID qui pourrait prendre n’importe quel document, même structuré. De même, Q&A nécessite peut-être une adaptation pour de nouveaux documents. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.3 Conclusion La navigation interactive dans les documents ne peut pas être traitée par du dialogue finalisé, puisque le domaine d’application ne peut pas être restreint arbitrairement et qu’on ne sait pas faire du dialogue sans domaine fixé. Il est donc nécessaire de se focaliser sur un domaine et un type de document, ou alors abandonner la piste du dialogue. Dans tous les cas, l’objectif initial de l’ASP devrait être revu. Il faut peut-être se contenter soit de naviguer dans un seul genre de documents, soit ne pas avoir d’interface dialogique tel que c’était prévu à l’origine. Finalement, il faut se poser la question : Est-ce que la navigation dans les documents ne serait pas plus aisée avec une table des matières, des liens hypertextes et une barre de navigation classique qu’avec une interface linguistique ? Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

1.3 Proposition pour Navigation Interactive dans des Documents Il est peut-être préférable de se limiter à faire une interface « clavier » à Q&A, ce qui permettrait de généraliser facilement l’interface pour n’importe quels documents, et laisser de côté la navigation dans la structure par interface vocale, qui empêcherait d’être générique, et dont l’intérêt est limité. On se contenterait alors de définir une interface visuelle pour la navigation, incluant potentiellement les structures hiérarchiques et thématiques, et offrant la possibilité de poser une question à Q&A pour diriger l’utilisateur sur le ou les endroits du document où pourrait se trouver la réponse. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2. La référence dans le dialogue finalisé Référence aux éléments de l’application Référence dans NID Mes travaux Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.1. La référence aux éléments dans le dialogue finalisé Dans un dialogue, l’utilisateur commande une application par la voie du langage. Cette application « s’expose » à l’utilisateur via des objets accessibles par des perceptions directes ou des inférences. Ces objets accessibles à l’utilisateur vont être désignés par celui-ci, dans son discours, par des références. La différence entre la référence par recherche d’antécédent, qu’on trouve dans les travaux sur la compréhension de texte, et la référence dans le cadre du dialogue homme-machine tient dans le fait qu’on ne peut plus se contenter de considérer la référence comme une recherche d’antécédent textuel, mais comme la recherche d’entités ayant une représentation construite dans la « mémoire » du processus informatique qui analyse la langue. C’est ce que Romary et al. désignaient sous le nom de Représentation Mentales dans le projet CERVICAL. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.1. La référence aux éléments dans le dialogue finalisé En général, dans les systèmes de dialogue, la résolution de la référence est dédiée à un module spécial qui fait le lien entre l’aspect linguistique et la représentation informatique des applications. Le module de résolution de la référence reçoit un groupe nominal et cherche le ou les objets auxquels ce GN réfère. Le processus de recherche est toujours en partie ad hoc, et dépend : Du type des objets de l’application De leur représentation interne Des caractéristiques, intrinsèques ou extrinsèques, qui sont utilisées pour les désigner Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.2. La référence dans le cadre de la NID Accès au contenu du document : trop complexe pour être construit intégralement  on doit passer par des techniques de fouille de texte Accès à la structure du document : assez simple à gérer (voir travail de Romain Turner), mais l’intérêt de traiter cet accès par la langue reste à démontrer. On doit nécessairement faire une expérimentation à la Magicien d’Oz pour savoir quel est l’usage de ce type d’accès dans le cadre d’une utilisation réelle. A défaut d’expérimentation, on ne pourra pas affirmer que l’utilisation du dialogue est intéressant pour la navigation dans les documents. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.3. Mes travaux sur la Résolution de la Référence Objectif : traiter la résolution de la référence de manière plus fine tout en étant générique. Pourquoi fine ? Actuellement le modèle dominant est prédicatif, par exemple pour trouver à quoi réfère l’expression « le grand carré rouge », on cherche tous les X tels que carré(X) et grand(X) et rouge(X). Or cette approche ne permet pas de prendre en compte le rôle du contexte, ni d’expliquer certains phénomènes. Pourquoi générique ? Les approches utilisées pour résoudre la référence sont spécifiquement adaptées à chaque cas, ce qui impose de réécrire une grande partie du système à chaque fois que l’on veut l’adapter pour une nouvelle application. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.3. Proposition pour la résolution de la référence Basé sur le modèle de Salmon-Alt et Romary. Représentation des extracteurs référentiels intrinsèques, relationnels et typologiques sous forme fonctionnelle plutôt que prédicative. Extracteur référentiel = terme caractérisant un élément, par exemple « grand », « à droite », « carré ». Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.3. Proposition pour la résolution de la référence Le principe est de remplacer les critères de différentiation prédicatifs proposés par Salmon-Alt et Romary par des fonctions de différentiation permettant de trier selon un certain critère les entités de l’application, et de partitionner l’ensemble obtenu en fonction de la typicalité des éléments. Les fonctions de différentiation permettent de calculer un rapport de similarité entre deux entités, selon un certain axe sémantique (par exemple la grandeur) Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.4. Vers la généricité dans la résolution de la référence On entend par généricité la capacité d’un système à représenter différents points de vue, et non pas le fait qu’un système comprenne le dialogue général. Dans l’approche classique, si l’on s’en tient à un filtrage par prédicats, la seule représentation possible est une représentation par structure d’attributs. De plus une seule représentation est possible pour un attribut donné. On remarque qu’en pratique, les applications peuvent adopter des points de vues hétérogènes sur les mêmes choses. D’où le problème de généricité que pose la conception d’architecture pour le dialogue finalisé. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.4. Vers la généricité dans la résolution de la référence Notre proposition est que les fonctions de différentiation s’appliquent sur des entités typées, qui sont des représentants (ou points de vue) des objets de l’application. Le concepteur d’une application doit alors fournir des traducteurs pour passer des objets aux entités typées, s’il veut que les extracteurs référentiels puisse les prendre en compte. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

2.4. Exemple de traduction objet de l’application  entité typée Obj1_Carré_IMPLXX :INST01 Couleur : (.34, .53, .90) Taille : 1.3 Objet-coloré-RGB :INST02 Couleur : @RGB_coul_INST01 Objet-coloré-Générique :INST03 RGB_coul :INST04 Red : .34 Green : .53 Blue : .90 Couleur-Générique :INST05 Présentation à l’ASP NID 24/02/03 – Guillaume Pitel

Conclusion Mes travaux sont encore très prospectifs Leur apport du point de vue de l’ASP n’est pas du tout évident, étant donné la position intermédiaire de NID entre Dialogue et Texte, et ma position résolument sur le Dialogue Finalisé. Je peux en revanche apporter ma contribution pour développer une application permettant de mettre en route l’expérience qui nous permettra de récolter un corpus et d’avoir une validation sur l’apport de l’interface linguistique dans le cadre de la NID. Présentation à l’ASP NID 24/02/03 – Guillaume Pitel