Projets du laboratoire Directeur: Jean Caelen (DR CNRS) Directrice adjointe : Catherine Berrut (Prof. UJF) www-clips.imag.fr

La future société de l’information Etudier, concevoir et évaluer de nouveaux moyens de communication et de travail entre personnes à l’aide d’ordinateurs À la convergence + télécommunications + informatique + objets communicants + …

Interactions homme-machine Interactions humaines médiatisées par la machine Traitement des informations parole, images, langues Environnements multimédia et hypermédia pour la formation Environnements perceptifs Indexation de documents multimédia Ingénierie de l’interaction et réalité augmentée Interaction verbale et dialogue homme-machine Interfaces collaboratives et/ou multimodales Recherche d’informations et/ou documentaire Traduction automatique Traitement de la langue, multilinguisme Traitement de la parole Thèmes de recherche

Structure Direction Recherche ARCADE GEOD GETA IIHM MRIM Conseil de labo Equipe de direction Soutien Technique Réseau, Serveur Projets Soutien Administratif Secrétariat Gestion des RH Gestion financière Gestion des moyens Communication Valorisation MultiCom Effectif : 85 (permanents + thésards) UJF, CNRS, INPG, UPMF, US

Equipes de recherche ARCADE (J.P. Peyrin, prof. UJF) Ateliers de Réalisation et de Conception d’Applications Destinées à l’Education GEOD (J.F. Serignat, MCF INPG) Groupe d’Etude sur l’Oral et le Dialogue GETA (C. Boitet, prof. UJF) Groupe d’Etude sur la Traduction Automatique IIHM (J. Coutaz, prof. UJF) Ingénierie de l’Interaction Homme-Machine MRIM (M.F. Bruandet, prof. UJF) Modélisation et Recherche d’Informations Multimédia

Valorisation MultiCom : Plate-forme technologique pour la conception et l’évaluation des systèmes interactifs Autres aspects de la valorisation 1998 : Création de la start-up NOVADIS (UJF + INRIA), 1999 : Création d’une entité industrielle ARLYS (MENRT, CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique, 2000 : Le projet Spatio-Guide (prix de l’ANVAR) 2001 : Le projet Dmailer en incubation (GRAIN, ANVAR)

Contrats en cours De recherche 8 industriels (Thomson, France-Télécom, EDF, Alcatel) dans RNRT, CTI, DGA ou directs 2 internationaux C-STAR, UNL et 2 AUPELF 7 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D), ARIADNE (R&D), GLOSS (FET), FAME (FET) 1 CNRS (Télécom) 2 RRA Thématique et Emergence 99 6 IMAG (C-STAR, RICOM, RESIDE-HIS, EPIC, e- Xperience, Scopie) A travers MultiCom 6 industriels (Schneider, France-Télécom, EDF), 1 européen SIRLAN IST 5ème PCRD, 30 mois, 1 RRA Emergence SHIVA, 1 thématique ISDN 2 RNRT (PVE, Stylocom)

Collaborations internationales Europe Allemagne (Univ. Karlsruhe) Italie (CNR Pise, IRST Trento) UK (Univ. Glasgow, Univ. Edinburgh, UCL Londres) Tchéquie (INP Oztrava) Amérique USA (CMU Pittsburgh) Canada (UQAM, UQTR, UQChicoutimi, Ulaval) Mexique (UDLA Puebla, LAFMI) Venezuela (Univ. Caracas) Asie Japon (ATR Nara) Corée (ETRI Taejong) Singapour (IPAL labo commun) Vietnam (MICA labo commun) Chine (Univ. Pékin) Malaisie (USM Penang)

Thèmes 1.Traduction de dialogues parlés dans le domaine touristique et l’e-commerce (GEOD, GETA) 2.Recherche Interactive, Collaborative et Multimodale d’informations sur le Web (GEOD, IIHM, MRIM), 3.Environnements perceptifs (télé-médecine, domotique) et objets communicants (GEOD, IIHM) 4.Formation interactive à distance (ARCADE, IIHM) 5.Documents multimédias et multilingues (MRIM, GEOD, GETA)

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France) NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce ERIM : Environnement de traduction avec interprétariat

Modules linguistiques : 2 chemins possibles texte langue source reconnaissance de la parole Traduction Synthèse de la parole texte langue cible site qui parle site qui entend la traduction la traduction texte IF Analyse vers IF Génération

L’IF : avantages N langues cibles possibles pour le coût d’une Exemple pour le français Possibilité de rétrogénérer en français pour le contrôle IF Analyse vers IF Génération

Le 22 juillet 1999 à Grenoble

Projet ERIM plate-forme de traduction avec interprétariat

HALPIN : Dialogue homme-machine en langage parlé Vitesse : Visualisation d’une grande quantité d’informations CoVitesse : Navigation coopérative dans une grande masse d’informations

HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web J'ai trouvé 1206 documents ayant comme thème intelligence artificielle. Voulez-vous affiner votre requête ? Qu'est ce que tu peux me proposer sur... heu, l'intelligence artificielle ?

Historique du dialogue Boîte de dialogue de l’usager Réponse écrite de la machine (avec hyperliens) Zone de détails d’un document Boutons pour les interactions vocales Module de reconnaissance vocale pour IBM ViaVoice

VITESSE Une interface graphique aux moteurs de recherche du WWW La récolte de nombreuses informations jugées pertinentes La représentation multiple et de nombreux outils de navigation

Application : VITICOL Navigation collaborative asynchrone Pertinence sociale en plus de la pertinence "système" Demande d’opinion à chaque information visitée Visualisation des statistiques d’opinion dans une lentille magique

COVITESSE Navigation collaborative synchrone sur le Web Définition des types de navigation synchrone : –questionner un autre utilisateur, –rechercher en groupe en partageant ses trouvailles, –faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes, –être conscient de l’activité de groupe et agir dans ce sens.

Interface pour la navigation collaborative

SIRLAN : Domotique RESIDE-HIS : Habitat Intelligent Santé COMEDI : Communication Mediatisée Informelle Magic Board : tableau augmenté CASPER : Chirurgie augmentée Les objets communicants…

SIRLAN : domotique

Plasticité des interfaces Comment obtenir toujours et partout la même qualité d’information ?

Reside HIS : maintien au domicile Intelligence locale / distante -Mémoire d’événements - Identification Horodatation - Communication Présentation des données Réseau Téléphonique Public Modem H Bus domotique Capteurs dedonnées physiologiques -fréquence cardiaque - tension artérielle -poids -pression intracrânienne -pression oculaire - … Capteurs de sons, d'appels...

Plan de l'HIS expérimental Capture acoustique

CoMedi : Espace de communication informelle Observabilité publiée et filtrée, Réflexivité, Réciprocité Awareness, Focus Autorisations d’accès Ctrl social dynamique

Filtre EigenSpace: Analyse en Composante Principale (J.Crowley) Base des images publiables Eigen Space Image source Image envoyée

Exemples de filtres de publication Poster Stores vénitiens EigenSpace

Tableau magique

Table magique

Tableau miroir

Chirurgie augmentée CASPER (Computer ASsisted PERicardial puncture) aide le chirurgien à amener une aiguille de ponction à proximité du cœur afin de ponctionner un épanchement.

Archéologie augmentée

FORMID : FORmation Interactive à Distance ARIADNE : Plate-forme orientée formateur

FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation » FORMID GeneSimu Oasis Tableau magique

ARIADNE : une plate-forme orientée formateur OASIS (Outil Auteur de Simulations Interactives avec Scénarios) GenEval (Générateur d’exercices d’auto-évaluation)

TIPS, THEOREME, ASCII: Recherche d’information et production de portails avec outils innovants, indexation multimédia FEV : dictionnaire Français-Vietnamien UNL : Traduction de l’écrit par langage pivot. 16 pays participants

THEOREME Thématisation des Médias par Reconnaissance Vocale

ASCII : Architecture Sémanti-Cognitique d’Indexation d’Images Simulation des réponses spatiales de différents cellules de la rétine. (travaux du LIS)

"Ronaldo marqua de la tête dans le coin gauche du but" (encodage à partir d'une phrase originalement en russe)

Dictionnaire Français => (anglais) => Vietnamien… ….au projet PAPILLON

Plateau d’expérimentation des systèmes interactifs Plateau d’expérimentation des systèmes interactifs

Objectifs Etudier les usages et l’ergonomie en situation de travail Fonder des méthodes prenant en compte les facteurs humains dans le cycle de vie des systèmes interactifs Concevoir et évaluer les systèmes dans une approche ethnocentrée et participative Instrumenter les méthodes de recueil et d’observation en SHS

Le cycle de conception en spirale La démarche La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique, (d) technologique sont pris en compte, au plus tôt. Idée Fonctions CC Scénario Observation Recom- mandation Validation Maquette Evaluation Usage Utilisabilité Usage Utilisabilité

Domotique Elaboration d’hypothèses (services, activités, interactions) Scenarios Maquettes Questionnaires Environnement simulé Observations Interviews Methode pour les usagers (SIRLAN project)

Domotique Usage en famille (profils, activités, contrôle) Prérequis (disponibilité, mémoire, préférences) Interface adaptée au besoin (fonctions éclatées, plasticité) Guidage, aide, compatibilité dans les services Facilité de souscription (certification, paiement) Sécurité et souplesse d’utilisation Confidentialité Qualité de service Facteurs d’environnement (confort, mobilité, multi-tâches) Résultats pour les usagers

Domotique 15 critères : Assimiler la nouvelle technique L’intégrer aux pratiques courantes Adapter l’innovation au métier Mesurer les changements dans l’environnement professionnel Méthode et résultats pour les installateurs

Domotique Catégories d’installateurs : Electriciens Fabricants Domoticiens Méthode et résultats pour les installateurs Interface (screen & buttons)NoYes Global systemYesNo Computer usingYesNo Remote servicesYesNo Electriciens Domoticiens BusNoYes Fabricants Yes ? ? No ? ? : dépend de la spécialité

Oculométrie Projets SHIVA et ISDN évaluation de documents électroniques Trajectoire Points de fixation fovéale –à 100 ms (perception) –à 250 ms (cognition) Vision périphérique Densité des points

Oculométrie Deux types de résultats Recommandations Diagnostics Approche client Disposition grille Les internautes recherchent des infos Le texte sert d’ancrage La légende ou le nom de l’image sont mieux mémorisés que l’image Comparaison de versions Mesure de l’efficacité Mesure de la qualité

Conclusion… CLIPS est… Un laboratoire de l’IMAG : UJF/CNRS/INPG Organisé autour de projets de recherche Ouvert sur la valorisation