Présentation du laboratoire www-clips.imag.fr Directeur: Jean Caelen (DR CNRS) Directeur adjoint : Catherine Berrut (Prof. UJF)

Tutelles UMR 5524

Thèmes de recherche Interactions homme-machine Interactions humaines médiées par la machine Traitement des informations parole, images, langues Environnements multimédia et hypermédia pour la formation Environnements perceptifs Indexation de documents multimédia Ingénierie de l’interaction et réalité augmentée Interaction verbale et dialogue homme-machine Interfaces collaboratives et/ou multimodales Recherche d’informations et/ou documentaire Traduction automatique Traitement de la langue, multilinguisme Traitement de la parole

Structure Direction Recherche ARCADE GEOD GETA IIHM MRIM Conseil de labo Equipe de direction Soutien Technique Réseau, Serveur Projets Soutien Administratif Secrétariat Gestion des RH Gestion financière Gestion des moyens Communication Valorisation MultiCom Effectif : 77 (permanents + thésards) UJF, CNRS, INPG, UPMF, US

Equipes de recherche ARCADE (J.P. Peyrin, prof. UJF) Ateliers de Réalisation et de Conception d ’Applications Destinées à l ’Education GEOD (J.F. Serignat, MCF INPG) Groupe d ’Etude sur l ’Oral et le Dialogue GETA (C. Boitet, prof. UJF) Groupe d ’Etude sur la Traduction Automatique IIHM (J. Coutaz, prof. UJF) Ingénierie de l ’Interaction Homme-Machine MRIM (M.F. Bruandet, prof. UJF) Modélisation et Recherche d ’Informations Multimédia

Effectif au 1/1/2000 Effectif du laboratoire72 (a) C et EC en poste29 (b) ITA en poste11 (c) Thésards+Post-Doc+ATER26 (d) Contractuels7 (e) DEA12 (f) Stagiaires12 (g) Invités + Associés10 Nombre de personnes physiques110 CNRSUJF/ADRINPGUPMFUS

Valorisation MultiCom : Plate-forme technologique et laboratoire d’utilisabilité pour la conception et l’évaluation des systèmes interactifs Autres aspects de la valorisation 1998 : Création de la start-up NOVADIS (UJF + INRIA), 1999 : Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique, 2000 : Le projet Spatio-Guide en pré-incubation (prix de l’ANVAR), partenaires MAGELLAN et ADB (PME grenobloises)

MultiCom Une plate-forme technologique pour : Etudier les usages et l’utilisabilité en situation de travail Concevoir et évaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes Elle offre Un réseau de compétences multidisciplinaires (sociologie des usages, ergonomie, ingénierie) Des outils et des méthodes Une veille technologique en CHM Une formation (séminaires, stages)

Contrats en cours A travers (ou liés à) MultiCom 6 industriels (Schneider, France-Télécom, EDF), 1 européen SIRLAN IST 5ème PCRD, 30 mois, 1 Emergence SHIVA RRA 99 et Thématique 2000 De recherche 6 industriels (Thomson, France-Télécom, EDF, Alcatel) dans RNRT, RNTL, CTI CNET, DGA ou directs 2 internationaux C-STAR, UNL et 2 AUPELF 5 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D), ARIADNE (R&D), GLOSS (R&D) 1 CNRS (Télécom) 2 RRA Thématique et Emergence 99 2 IMAG (C-STAR, RICOM) et 2 en instance (RESIDE-HIS, EPIC)

Des projets d’équipes « contractualisés » Des projets inter-équipes « fédérateurs » Des projets IMAG « visibles »

Projets fédérateurs C-STAR/NESPOLE! : Traduction de dialogues parlés dans le domaine touristique (GEOD, GETA) projet IMAG RICOM : Recherche Interactive, Collaborative et Multimodale d ’informations (3 équipes GEOD, IIHM, MRIM), projet IMAG Environnements perceptifs (télé-médecine, domotique…), projets IMAG (EPIC, RESIDE-HIS) FORMID : FORMation Interactive à Distance (ARCADE, IIHM)… pas encore projet IMAG

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France) NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce

Projet C-STAR Traduction de dialogues parlés Applications au tourisme et au commerce électronique

Modules linguistiques : 2 chemins possibles texte langue source reconnaissance de la parole Traduction Synthèse de la parole texte langue cible site qui parle site qui entend la traduction la traduction texte IF Analyse vers IF Génération

L’Interchange Format Représentation du sens indépendamment des langues Représentation fondée sur des –Actes de parole ce que l’on veut ou que l’on fait –Concepts à propos de quoi (focus informationnel) –Arguments valeurs des variables du discours give-information +availability+room room-type=(single ; double)

L’IF : avantages N langues cibles possibles pour le coût d’une Exemple pour le français Possibilité de rétrogénérer en français pour le contrôle IF Analyse vers IF Génération

Les composants : “reconnaissance” Reconnaissance multilocuteur –vocabulaire (centré sur le domaine) de 64k mots –parole continue spontanée Architecture client-serveur Module RAPHAEL construit sur la boîte à outils de JANUS III en collaboration avec l’université de Karlsruhe et l’université Carnegie Mellon

“Français vers IF” Entrée : transcription orthographique de l’énoncé oral Analyse morphologique et lemmatisation des mots du texte Première consultation de dico. de transfert français vers IF Analyse syntaxique pour la reconnaissance de structures grammaticales sémantiquement pertinentes –Dates, quantités, numéros, prix Autres consultations de dico. de transfert français vers IF Génération syntaxique et morphologique de l’IF Sortie : texte en langue IF

Le 22 juillet 1999 à Grenoble

RICOM : Recherche Interactive, Collaborative et Multimodale d’informations HALPIN : Dialogue homme-machine en langage parlé CoVitesse : Navigation coopérative dans une grande masse d’informations

J'ai trouvé 1206 documents ayant comme thème intelligence artificielle. Voulez-vous affiner votre requête ? Qu'est ce que tu peux me proposer sur... heu, l'intelligence artificielle ? HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web Un profil utilisateur est identifié. L'usager dialogue avec le système HALPIN. Il énonce sa demande oralement et la machine lui répond sur le même mode. La réponse est coopérative : c'est ici une proposition d’affiner la requête pour restreindre le nombre de réponses.

Historique du dialogue Boîte de dialogue de l’usager Réponse écrite de la machine (avec hyperliens) Zone de détails d’un document Boutons pour les interactions vocales Module de reconnaissance vocale pour IBM ViaVoice

COVITESSE Navigation collaborative synchrone sur le Web Définition des types de navigation synchrone à partir : “Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.” questionner un autre utilisateur, rechercher en groupe en partageant ses trouvailles, faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes, être conscient de l’activité de groupe et agir dans ce sens.

Détection de conflit Seuil haut Seuil bas Multidirectionnel Monodirectinonnel Grand Minimum Informel Maximum FormelPetit Style TailleFormalité de communication Contrôle Visite guidée Navigation partagée Navigations relâchée et planifiée Protocoles des interactions humaines

Interface pour la navigation collaborative

RESIDE-HIS : Habitat Intelligent Santé COMEDI : Communication Mediatisée Informelle

RESIDE-HIS

Dispositif de maintien au domicile Intelligence locale / distante -Mémoire d’événements - Identification Horodatation - Communication Présentation des données Réseau Téléphonique Public Modem H Bus domotique Capteurs dedonnées physiologiques -fréquence cardiaque - tension artérielle -poids -pression intracrânienne -pression occulaire - … Capteurs de sons, d'appels...

Plan de l'HIS expérimental

CoMedi : Espace de communication informelle Observabilité publiée et filtrée, Réflexivité, Réciprocité Awareness, Focus Autorisations d’accès Ctrl social dynamique

Exemples de filtres de publication Poster Stores vénitiens EigenSpace

Filtre EigenSpace: Analyse en Composante Principale (J.Crowley) Base des images publiables Eigen Space Image source Image envoyée

FORMID : FORmation Interactive à Distance Tableau Magique : Espace de partage de travail

FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation » FORMID GeneSimu Oasis Tableau magique

Projets d’équipe VITESSE : Présentation de grandes quantités d’information Tableau magique : Réalité augmentée TIPS : Recherche d’informations UNL : Traduction de textes écrits en 15 langues EMACOP et GERSONS : Corpus de parole OASIS/GENESIMU : Générateur de simulations pédagogiques

VITESSE Une interface graphique aux moteurs de recherche du WWW La récolte de nombreuses informations jugées pertinentes La représentation multiple et de nombreux outils de navigation

Application : VITICOL Navigation collaborative asynchrone Pertinence sociale en plus de la pertinence "système" Demande d’opinion à chaque information visitée Visualisation des statistiques d’opinion dans une lentille magique

Tableau magique

L'objectif actuel du projet UNL est de monter un ensemble de centres dispersés dans le monde. Chaque centre sera en charge du développement et de la maintenance des outils permettant le traitement d'une langue au sein du système UNL. Chaque centre fournira un service de déconversion et d'enconversion gratuit à l'ensemble des internautes. D'autres outils pourront être développés par d'autres personnes ou entreprises en utilisant le langage UNL, selon les conditions définies par les partenaires et disponibles sur le site de l'IAS/UNU.IAS/UNU

EMACOP Une chaîne de traitement Corpus Acquisition contrôlée Recherche dans la BD Ecoute SGBD

GeneSimu est un générateur de simulations pour la maintenance et la réparation d'équipement. Cette restriction à ce domaine particulier autorise une simplification des concepts manipulés. Les concepteurs de matériel sont eux même capable d'utiliser GeneSimu pour développer des simulations des leurs produits. OASIS / GENESIMU

Plate-forme d’expérimentation des systèmes interactifs Plate-forme d’expérimentation des systèmes interactifs

Développement systématique Observations Propriétés Analyse des tâches Spécifications externes Architecture PAC-Amodeus Développement en V

Objectifs Etudier les usages et l’utilisabilité en situation de travail

Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes

Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage

Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

Le cycle de conception en spirale Un bon départ : enrichir l’idée La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique, (d) technologique sont pris en compte, au plus tôt. Idée Fonctions CC Scénario Observation Diagnostic Validation Maquette Evaluation

Le cycle commence... Analyse de l ’usage génération du questionnaire enquête sur le terrain enregistrement du verbatim auprès d’informants interprétation et présentation des résultats recommandations pour le cahier des charges

Le cycle continue... Simulation de l’usage et Test prédictif de l’utilisabilité choix des fonctionnalités écriture des scénarios capture de comportements interprétation des données recommandations ergonomiques  par analyse de l’activité ou analyse des tâches

Le cycle s’achève... Spécification du cahier des charges Développement Evaluation du système final validation des fonctionnalités tests de comportements inspection ergonomique mesures de qualité

La plate-forme Station sujet Dispositif d’observation Stations compères : 1compère/tâche Video de contrôle Enregistrement sonore des sessions Dispositifs d’interaction

Conclusion… CLIPS-IMAG est… Un laboratoire en CHM Un laboratoire de l’IMAG Organisé autour de projets de recherche Ouvert sur la valorisation