Présentation du laboratoire www-clips.imag.fr Directeur: Jean Caelen (DR CNRS) Directeur adjoint : Catherine Berrut (Prof. UJF)

Présentation au sujet: "Présentation du laboratoire www-clips.imag.fr Directeur: Jean Caelen (DR CNRS) Directeur adjoint : Catherine Berrut (Prof. UJF)"— Transcription de la présentation:

1 Présentation du laboratoire Jean.Caelen@imag.fr www-clips.imag.fr Directeur: Jean Caelen (DR CNRS) Directeur adjoint : Catherine Berrut (Prof. UJF)

2 Tutelles UMR 5524

3 Thèmes de recherche Interactions homme-machine Interactions humaines médiées par la machine Traitement des informations parole, images, langues Environnements multimédia et hypermédia pour la formation Environnements perceptifs Indexation de documents multimédia Ingénierie de l’interaction et réalité augmentée Interaction verbale et dialogue homme-machine Interfaces collaboratives et/ou multimodales Recherche d’informations et/ou documentaire Traduction automatique Traitement de la langue, multilinguisme Traitement de la parole

4 Structure Direction Recherche ARCADE GEOD GETA IIHM MRIM Conseil de labo Equipe de direction Soutien Technique Réseau, Serveur Projets Soutien Administratif Secrétariat Gestion des RH Gestion financière Gestion des moyens Communication Valorisation MultiCom Effectif : 77 (permanents + thésards) UJF, CNRS, INPG, UPMF, US

5 Equipes de recherche ARCADE (J.P. Peyrin, prof. UJF) Ateliers de Réalisation et de Conception d ’Applications Destinées à l ’Education GEOD (J.F. Serignat, MCF INPG) Groupe d ’Etude sur l ’Oral et le Dialogue GETA (C. Boitet, prof. UJF) Groupe d ’Etude sur la Traduction Automatique IIHM (J. Coutaz, prof. UJF) Ingénierie de l ’Interaction Homme-Machine MRIM (M.F. Bruandet, prof. UJF) Modélisation et Recherche d ’Informations Multimédia

6 Effectif au 1/1/2000 Effectif du laboratoire72 (a) C et EC en poste29 (b) ITA en poste11 (c) Thésards+Post-Doc+ATER26 (d) Contractuels7 (e) DEA12 (f) Stagiaires12 (g) Invités + Associés10 Nombre de personnes physiques110 CNRSUJF/ADRINPGUPMFUS 1215382

7 Valorisation MultiCom : Plate-forme technologique et laboratoire d’utilisabilité pour la conception et l’évaluation des systèmes interactifs Autres aspects de la valorisation 1998 : Création de la start-up NOVADIS (UJF + INRIA), 1999 : Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique, 2000 : Le projet Spatio-Guide en pré-incubation (prix de l’ANVAR), partenaires MAGELLAN et ADB (PME grenobloises)

8 MultiCom Une plate-forme technologique pour : Etudier les usages et l’utilisabilité en situation de travail Concevoir et évaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes Elle offre Un réseau de compétences multidisciplinaires (sociologie des usages, ergonomie, ingénierie) Des outils et des méthodes Une veille technologique en CHM Une formation (séminaires, stages)

9 Contrats en cours A travers (ou liés à) MultiCom 6 industriels (Schneider, France-Télécom, EDF), 1 européen SIRLAN IST 5ème PCRD, 30 mois, 1 Emergence SHIVA RRA 99 et Thématique 2000 De recherche 6 industriels (Thomson, France-Télécom, EDF, Alcatel) dans RNRT, RNTL, CTI CNET, DGA ou directs 2 internationaux C-STAR, UNL et 2 AUPELF 5 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D), ARIADNE (R&D), GLOSS (R&D) 1 CNRS (Télécom) 2 RRA Thématique et Emergence 99 2 IMAG (C-STAR, RICOM) et 2 en instance (RESIDE-HIS, EPIC)

10 Des projets d’équipes « contractualisés » Des projets inter-équipes « fédérateurs » Des projets IMAG « visibles »

11 Projets fédérateurs C-STAR/NESPOLE! : Traduction de dialogues parlés dans le domaine touristique (GEOD, GETA) projet IMAG RICOM : Recherche Interactive, Collaborative et Multimodale d ’informations (3 équipes GEOD, IIHM, MRIM), projet IMAG Environnements perceptifs (télé-médecine, domotique…), projets IMAG (EPIC, RESIDE-HIS) FORMID : FORMation Interactive à Distance (ARCADE, IIHM)… pas encore projet IMAG

12 C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France) NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce

13 Projet C-STAR Traduction de dialogues parlés Applications au tourisme et au commerce électronique

14

15 Modules linguistiques : 2 chemins possibles texte langue source reconnaissance de la parole Traduction Synthèse de la parole texte langue cible site qui parle site qui entend la traduction la traduction texte IF Analyse vers IF Génération

16 L’Interchange Format Représentation du sens indépendamment des langues Représentation fondée sur des –Actes de parole ce que l’on veut ou que l’on fait –Concepts à propos de quoi (focus informationnel) –Arguments valeurs des variables du discours give-information +availability+room room-type=(single ; double)

17 L’IF : avantages N langues cibles possibles pour le coût d’une Exemple pour le français Possibilité de rétrogénérer en français pour le contrôle IF Analyse vers IF Génération

18 Les composants : “reconnaissance” Reconnaissance multilocuteur –vocabulaire (centré sur le domaine) de 64k mots –parole continue spontanée Architecture client-serveur Module RAPHAEL construit sur la boîte à outils de JANUS III en collaboration avec l’université de Karlsruhe et l’université Carnegie Mellon

19 “Français vers IF” Entrée : transcription orthographique de l’énoncé oral Analyse morphologique et lemmatisation des mots du texte Première consultation de dico. de transfert français vers IF Analyse syntaxique pour la reconnaissance de structures grammaticales sémantiquement pertinentes –Dates, quantités, numéros, prix Autres consultations de dico. de transfert français vers IF Génération syntaxique et morphologique de l’IF Sortie : texte en langue IF

20 Le 22 juillet 1999 à Grenoble

21 RICOM : Recherche Interactive, Collaborative et Multimodale d’informations HALPIN : Dialogue homme-machine en langage parlé CoVitesse : Navigation coopérative dans une grande masse d’informations

22 J'ai trouvé 1206 documents ayant comme thème intelligence artificielle. Voulez-vous affiner votre requête ? Qu'est ce que tu peux me proposer sur... heu, l'intelligence artificielle ? HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web Un profil utilisateur est identifié. L'usager dialogue avec le système HALPIN. Il énonce sa demande oralement et la machine lui répond sur le même mode. La réponse est coopérative : c'est ici une proposition d’affiner la requête pour restreindre le nombre de réponses.

23 Historique du dialogue Boîte de dialogue de l’usager Réponse écrite de la machine (avec hyperliens) Zone de détails d’un document Boutons pour les interactions vocales Module de reconnaissance vocale pour IBM ViaVoice

24 COVITESSE Navigation collaborative synchrone sur le Web Définition des types de navigation synchrone à partir : “Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.” questionner un autre utilisateur, rechercher en groupe en partageant ses trouvailles, faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes, être conscient de l’activité de groupe et agir dans ce sens.

25 Détection de conflit Seuil haut Seuil bas Multidirectionnel Monodirectinonnel Grand Minimum Informel Maximum FormelPetit Style TailleFormalité de communication Contrôle Visite guidée Navigation partagée Navigations relâchée et planifiée Protocoles des interactions humaines

26 Interface pour la navigation collaborative

27 RESIDE-HIS : Habitat Intelligent Santé COMEDI : Communication Mediatisée Informelle

28 RESIDE-HIS

29 Dispositif de maintien au domicile Intelligence locale / distante -Mémoire d’événements - Identification Horodatation - Communication Présentation des données Réseau Téléphonique Public Modem H Bus domotique Capteurs dedonnées physiologiques -fréquence cardiaque - tension artérielle -poids -pression intracrânienne -pression occulaire - … Capteurs de sons, d'appels...

30 Plan de l'HIS expérimental

31 CoMedi : Espace de communication informelle Observabilité publiée et filtrée, Réflexivité, Réciprocité Awareness, Focus Autorisations d’accès Ctrl social dynamique

32 Exemples de filtres de publication Poster Stores vénitiens EigenSpace

33 Filtre EigenSpace: Analyse en Composante Principale (J.Crowley) Base des images publiables Eigen Space Image source Image envoyée

34 FORMID : FORmation Interactive à Distance Tableau Magique : Espace de partage de travail

35 FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation » FORMID GeneSimu Oasis Tableau magique

36 Projets d’équipe VITESSE : Présentation de grandes quantités d’information Tableau magique : Réalité augmentée TIPS : Recherche d’informations UNL : Traduction de textes écrits en 15 langues EMACOP et GERSONS : Corpus de parole OASIS/GENESIMU : Générateur de simulations pédagogiques

37 VITESSE Une interface graphique aux moteurs de recherche du WWW La récolte de nombreuses informations jugées pertinentes La représentation multiple et de nombreux outils de navigation

38 Application : VITICOL Navigation collaborative asynchrone Pertinence sociale en plus de la pertinence "système" Demande d’opinion à chaque information visitée Visualisation des statistiques d’opinion dans une lentille magique

39 Tableau magique

40

41

42 L'objectif actuel du projet UNL est de monter un ensemble de centres dispersés dans le monde. Chaque centre sera en charge du développement et de la maintenance des outils permettant le traitement d'une langue au sein du système UNL. Chaque centre fournira un service de déconversion et d'enconversion gratuit à l'ensemble des internautes. D'autres outils pourront être développés par d'autres personnes ou entreprises en utilisant le langage UNL, selon les conditions définies par les partenaires et disponibles sur le site de l'IAS/UNU.IAS/UNU

43 EMACOP Une chaîne de traitement Corpus Acquisition contrôlée Recherche dans la BD Ecoute SGBD

44 GeneSimu est un générateur de simulations pour la maintenance et la réparation d'équipement. Cette restriction à ce domaine particulier autorise une simplification des concepts manipulés. Les concepteurs de matériel sont eux même capable d'utiliser GeneSimu pour développer des simulations des leurs produits. OASIS / GENESIMU

45 Plate-forme d’expérimentation des systèmes interactifs Plate-forme d’expérimentation des systèmes interactifs

46 Développement systématique Observations Propriétés Analyse des tâches Spécifications externes Architecture PAC-Amodeus Développement en V

47 Objectifs Etudier les usages et l’utilisabilité en situation de travail

48 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes

49 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage

50 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

51 Le cycle de conception en spirale Un bon départ : enrichir l’idée La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique, (d) technologique sont pris en compte, au plus tôt. Idée Fonctions CC Scénario Observation Diagnostic Validation Maquette Evaluation

52 Le cycle commence... Analyse de l ’usage génération du questionnaire enquête sur le terrain enregistrement du verbatim auprès d’informants interprétation et présentation des résultats recommandations pour le cahier des charges

53 Le cycle continue... Simulation de l’usage et Test prédictif de l’utilisabilité choix des fonctionnalités écriture des scénarios capture de comportements interprétation des données recommandations ergonomiques  par analyse de l’activité ou analyse des tâches

54 Le cycle s’achève... Spécification du cahier des charges Développement Evaluation du système final validation des fonctionnalités tests de comportements inspection ergonomique mesures de qualité

55 La plate-forme Station sujet Dispositif d’observation Stations compères : 1compère/tâche Video de contrôle Enregistrement sonore des sessions Dispositifs d’interaction

56 Conclusion… CLIPS-IMAG est… Un laboratoire en CHM Un laboratoire de l’IMAG Organisé autour de projets de recherche Ouvert sur la valorisation