1 Le projet RICOM Recherche d’Information Collaborative et Multimodale Equipes GEOD, IIHM, MRIM

2 Plan Position du problème Objectifs et avancement des travaux La multimodalité Le système HALPIN et le système Vitesse Evaluation La collaboration Le système Co-Vitesse Espace de recommandation RI collaborative Observation de comportements Conclusion

3 Questions générales Pourquoi collaborer ? Gagner en qualité du résultat de la recherche en s’appuyant sur les compétences et les connaissances de chacun Améliorer l’efficacité globale (partage : du travail, de recherches antérieures, d’une mémoire commune) Gagner en satisfaction (parallélisme des tâches, de discussion d’objectif et de recherche fine) Capitaliser les savoirs et les connaissances Comment collaborer ? En synchronie/asynchronie Avec des interfaces multimodales (parole, graphique) Par le dialogue (avec le système et entre participants)

4 Position du problème Les dimensions du problème Perceptive : comment (re)présenter les informations, quel mode d’accès à ces informations, etc. Cognitive : comment partager les connaissances, les modes de recherche, les résultats (production, capitalisation), les raisonnements (interprétation des résultats, compréhension de la tâche), etc. Psycho-sociale : quelle coordination de la tâche, organisation du groupe, taille du groupe, etc. Technologique : quels outils de communication, de présentation de la dynamique de la recherche (et de ses résultats), d’accès aux infos (moteurs, dialogue), etc. Méthode de conception du système Approche anthropocentrée (observation située) Conception incrémentale à partir de maquettes ou de simulations

5 Objectif et avancement des travaux But : Concevoir un système collaboratif et multimodal pour la RI Phase I : Réaliser des maquettes de test et expérimenter des scénarios Développer des modèles Phase II : Identifier les fonctionnalités en terme de  Interaction de groupe (perception activité, coordination, communication)  Accès aux informations (requête, dialogue, navigation)  Partage (évaluation commune de la pertinence) et capitalisation Phase III : Concevoir le système

6 RICOM - Phase I

7 Plan Position du problème Objectifs et avancement des travaux La multimodalité Le système HALPIN et le système Vitesse Evaluation La collaboration Le système Co-Vitesse Espace de recommandation RI collaborative Observation de comportements Conclusion

8 Mode d’accès - Navigation difficile => multimodalité + dialogue - Expression limitée des requêtes => souplesse du LN - Profils utilisateurs non pris en compte par les navigateurs actuels => stratégies de dialogue - Univers référentiel et pragmatique limités et connus par la machine => focalisation thématique Buts des utilisateurs - Butiner selon un fil thématique (motivation = curiosité) - Accéder rapidement aux informations souhaitées (motivation = recherche d’un document donné ou recherche d’un ensemble de documents en relation thématique) Gains attendus

9 J'ai trouvé 1206 documents.Voulez-vous affiner votre requête ? Qu'est ce que tu peux me proposer sur... heu, l'intelligence artificielle ? Un profil utilisateur est identifié. L'usager dialogue avec le système HALPIN. Il énonce sa demande oralement et la machine lui répond sur le même mode. La réponse est coopérative : c'est ici une proposition d’affiner la requête pour restreindre le nombre de réponses. Bibliothèque électronique de l’INRIA (83297 références de documents) Halpin recherche documentaire multimodale

10 Halpin : architecture du système Serveur de la Bibliothèque de l’INRIA (Rocquencourt) Serveur Rank-Xerox Fichier de dialogue H/M Serveur CLIPS-IMAG Système HALPIN Corpus HALPIN LemmatiseurRequêtes selon critères de l ’usager Client (profil X ; but Y) Synthèse vocale Elan Reconnaissance Vocale Reconnaissance de concepts

11 Historique du dialogue Réponse de la machine (hyperliens) Zone de détail d’un document Boutons pour les interactions vocales Reconnaissance vocale IBM ViaVoice

12 Présentation des résultats en œil de poisson (avec hyperliens)

13 Hypothèses a priori : Choix dialogue / navigation, nous pensons que le dialogue sera préféré dans le cas d’une recherche ciblée de document(s) et la navigation dans tous les autres cas. Choix affichage de liste / affichage en œil de poisson, nous pensons qu’à partir d’un certain nombre de documents (à déterminer), l ’œil de poisson est plus pertinent du fait que l’utilisateur a une vue plus globale sur l’ensemble des résultats et qu’il peut facilement naviguer sur les différents ouvrages. Halpin : Evaluation du système avec des sujets

14 Halpin : l’expérience Test d ’hypothèses - dialogue vs navigation - présentation linéaire vs affichage en œil de poisson 10 sujets (+ 2 en pré-tests) 5 tests (exercices) étaient proposés aux sujets Chaque exercice a un but précis : test 1 : informations précises test 2 : informations imprécises test 3 : informations dérivées test 4 : informations enfouies (sous-thèmes) test 5 : présentation linéaire classique vs. Œil de poisson Questionnaire en fin de session

15 Exemple : Halpin, test 4 Stratégie : tous les sujets dialoguent (recherche du thème) puis affinent sur l ’œil de poisson. Consigne : Trouvez 5 sous-thèmes différents, dans les documents ayant pour thème la programmation par objets. But : tester la stratégie d ’affinement (dialogue vs. navigation) L’affinement se fait par navigation. 2 abandons dénotent le conflit dialogue/navigation

16 Halpin : résultats d’évaluation Les sujets privilégient chaque fois que cela est possible l’utilisation du dialogue pour exécuter les différentes tâches (ces résultats ont été confortés par le sondage). Cela ne dépend pas de la tâche mais plutôt de l’usager. La prédominance relative du dialogue est peut-être due (??) :  à l ’attrait de la synthèse vocale (qui favorise l ’interaction verbale),  à la difficulté de changer de modalité une fois le dialogue engagé (l’interaction commence toujours par le dialogue),  à la facilité d ’adaptation aux formes d ’interaction dialogiques et à la maîtrise de la langue maternelle, qui ne nécessitent pas d’apprentissage particulier. L’indifférence à la forme de présentation des résultats (présentation linéaire vs. Œil de poisson)

17 Plan Position du problème Objectifs et avancement des travaux La multimodalité Le système HALPIN et le système Vitesse Evaluation La collaboration Le système Co-Vitesse Espace de recommandation RI collaborative Observation de comportements Conclusion

18 Affinement de l’objectif Meilleure formulation de la requête Partage du travail de recherche Mise en commun des résultats Analyse en commun de la pertinence Capitalisation des résultats Constitution de savoir-faire Aide dans la recherche (appui sur l’expertise du groupe) Prise en compte des déficiences visuelles et/ou motrices La collaboration : gains attendus

19 Navigation collaborative synchrone sur le Web Définition des types de navigation synchrone selon : “Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.” questionner un autre utilisateur, rechercher en groupe en partageant ses trouvailles, faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes, être conscient de l’activité de groupe et agir dans ce sens. Co-Vitesse navigation collaborative synchrone

20 Co-Vitesse : interface pour la navigation collaborative

21 Système de recommandation valorise les évaluations individuelles  diffusion d’information (filtrage collaboratif) capitalise les évaluations  base de recommandations 1.Définition d’un espace de recommandation 2.Définition des critères d’évaluation des documents 3.Intégration des activités de recherche d’information (PULL) et de filtrage collaboratif (PUSH) Modèle ER espace de recommandation

22 Modèle ER : espace de recommandation Ressources d’Information Recommandeurs Utilisateurs Relation Utilisateur- Recommandeur Relation Recommandeur- Resource Super-ressource Relation Utilisateur- Ressource

23 Modèle ER : critères d’évaluation contenu oexactitude ovalidité oautorité ostructure de l’information ooriginalité et unicité oconsistance opreuve ocomplétude ocouverture et précision oobjectivité oniveau de difficulté forme oaccessibilité oidentification de la ressource et documentation oqualité du langage otechnologies requises onavigation oaide à l’utilisateur oaspects esthétiques et affectifs stabilité ostabilité de l’information ostabilité de la source

24 Modèle ER : exploitation 1 ère phase SR PULL Feed-back Besoin, requête User XY

25 Modèle ER : exploitation 2 ème phase User XY PUSH Profil d'Utilisateur 3 Use r X Y Use r ZE Use r X Y Use r HF Communautés d'intérêts C1C1 C3C3 C2C2 C2C2 C2C2 SR

26 Modèle RIC : présentation de la recherche collective Données utilisateurs compétences des utilisateurs préférences d’un utilisateur envers les autres Données session requête  utilisateur requête  référence trouvée Données références référence  évaluation des utilisateurs évaluation relative à différents critères de pertinence / qualité SRI req réf param éval visualisations collaboratives SRI req réf param éval

27 Modèle RIC : présentation de la recherche collective Eventail de situations et types de visualisation pas de résultat satisfaisant / doute  quelles requêtes les autres ont-ils utilisées ?  quels documents les autres ont-ils trouvés ? désir de collaboration  quelles requêtes sont les plus efficaces ?  quelles références ont été jugées pertinentes pour un critère donné ? Critères de visualisation relatifs à la requête  requête proche ou différente relatifs aux résultats  algorithmes de fusion relatifs à la session  collections, moteurs relatifs à l'historique de la référence  utilisateur l’ayant trouvée / préférences / compétences  jugements reçus par la référence

28 Plan Position du problème Objectifs et avancement des travaux La multimodalité Le système HALPIN et le système Vitesse Evaluation La collaboration Le système Co-Vitesse Espace de recommandation RI collaborative Observation de comportements Conclusion

29 RICOM - Phase II L’intégration de ces sous-systèmes et modèles doit se faire conformément aux besoins et contraintes réelles Besoin d’une observation pour Etudier les comportements Identifier les éléments entrant en jeu dans cette activité (structure du groupe, critères de pertinence, démarche de sélection et d’organisation des références trouvées, etc.) Cerner les besoins en matière d’outils

30 Observation - mise en place  Trois personnes  Lieux distants  Outils de recherche différents Halpin, Yahoo, Altavista  Objectif commun construire une documentation commentée sur un thème  Etapes de travail imposées recherche individuelle mise en commun production de la documentation  Espace de travail collaboratif dépouillé chatbox + sonnette « post-it » individuels et commun + tableau blanc

31 Observation - résultats Données collectées o dialogues o résultats des recherches individuelles o résultat final o réponses à un questionnaire final Résultats structure et fonctionnement du groupe interaction avec les outils et manques ressentis interprétation du thème et de la consigne critères de pertinence thématiques et qualitatifs stratégies de construction du résultat collectif

32 Observation - résultats (suite)

33 Observation - bilan pour la conception du système Possibilité d’une concertation préalable Adaptabilité du système à différentes structures de groupe à différentes démarches de production à différentes stratégies d’action Aménagement d’un espace d’explicitation des choix institués par le groupe interprétation du thème mise au point de la démarche générale choix des critères de pertinence Manipulation collective des outils de production

34 Conclusion, Perspectives Besoin de collaboration en RI organisation préalable du groupe organisation souple et évolutive en cours de session organisation des connaissances (filtrage, étiquetage, hiérarchisation des informations) capitalisation des informations Pour le poste individuel : conserver la multimodalité perceptive et cognitive navigation / dialogue en LN graphique, parole différentes stratégies d’interaction (synchrone / asynchrone) Spécifier un système : phase III