Point de vue technologique Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante Point de vue technologique Repartir chaque diapo en: Defis Realisations Supprimer les dernieres diapo Rassembler les diapos: multitude capteurs Multitude effecteurs Christophe Cerisara

La place des interfaces en AmI « One of the most significant challenges in AmI/pervasive computing technologies is to create user-friendly interfaces. » [Raisinghani et al., Journal of Digital Information, août 2004] « Interfaces, especially user interfaces are one of the crucial building blocks for AmI because they define the experience the user will have with the intelligence surrounding him/her. » [Y. Punie, Key deliverable (EPTS, CEE) 2003] « A central challenge of AmI is to create systems that are intuitive to use […] This will require techniques for dialogue-based and goal orientated negotiation systems […] Pattern recognition (including speech and gesture) is a key area that is evolving rapidly. » [ISTAG Scenarios]

Besoin de nouvelles interfaces Caractéristiques AmI Interfaces traditionnelles Multiplicité des capteurs/terminaux capteurs/terminaux prédéfinis Nombreuses applications une, au mieux quelques applications Mobilité peu d’adaptation au contexte (changements de capteurs, interruption, …) Utilisateur quelconque Utilisateur moyen (vs. handicapé / très âgé / enfant /…) Interfaces transparentes/discrètes accapare l’attention de l’utilisateur Multi-utilisateurs un seul utilisateur à la fois s’adresse au système

Plan Comment adapter ces interfaces aux besoins de l’AmI ? Multiplicité des capteurs/terminaux Multiplicité des applications Environnements multi-utilisateurs Prise en compte du contexte Interactions implicites

Défi 1: gérer la multiplicité des terminaux Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Protocoles UPnP, JXTA …

Défi 1: gérer la multiplicité des terminaux Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Sélection à base de règles (éventuellement apprises) Proximité: GPS, détecteurs IR… Détection de l’utilisateur Standard supporté Contexte, préférences…

Défi 1: gérer la multiplicité des terminaux Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Programmation Dynamique: Minimisation de distances

Défi 1: gérer la multiplicité des terminaux Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Ex: Flux audio: réduction du bruit convolutif Normalisation par histogrammes CMN, CVN, …

Exemples de réalisations… Philips Research: « Follow me with magic wands » Fraunhofer ICG: découverte automatique des devices afin de les représenter (et de les contrôler) sur un PDA

Exemples de réalisations… Exemple : UbiComp Browser (Univ. de Karlsruhe) 1 capteur, N écrans. Accès au Web à travers le PDA Affichage sur des écrans environnants. Sélection par: La proximité (notion de pièce, localisation IR) Les standards supportés Choix par des règles prédéfinies.

Défi 1: gérer la multiplicité des terminaux Plate-forme d’AmI Défis technologiques : Fusion instantanée des flux : utiliser tous les capteurs Améliorer la précision des capteurs / corriger les erreurs Nouvelles informations : ex. stéréophonie Prendre en compte un contexte plus large

Défi 2 : Multiplicité des applications Problèmes: Unicité des interfaces pour/adaptées à l’utilisateur Réduire les coûts de développement / Ne pas recréer de nouvelles interfaces à chaque application Solutions technologiques: Langage de description des interfaces indépendant des terminaux Génération automatique des interfaces (Nichols, CMU) Exemple 1 : IBM Universal Information Appliance : Un seul PDA qui accède à tous les services / appareils Mobile Document Application Language (MoDAL): basé sur XML, décrit les interfaces et applications. Il implémente 4 actions: Afficher un GUI Réaliser des calculs locaux Lire / écrire sur une base de données locale Envoyer / recevoir des messages sur le réseau

Multiplicité des interfaces Exemple 2 : EMBASSI project Langage de description des interfaces basé sur XML: <?xml version="1.0" encoding="UTF-8"?> <input id="field1" lang="DE" … > <caption> <text>Name:</text> </caption> <hint>Please enter your name. Up to 50 characters </hint> <help>http://www.embassi.de</help>

Défi 3 : Environnements multi-utilisateurs Gérer plusieurs utilisateurs simultanément Gérer des utilisateurs « non standards »: Âgés, enfants, handicapés, … Technologies de base ? Identification Reco. des actes de dialogue Reco. robuste aux bruits / BSS Problèmes (non résolus) Identité des locuteurs ? Qui parle ? A qui ? TeleTact II (CNRS) LABIAO (LORIA): Enfants mal-entendants Communauté d’utilisateurs N’accapare pas l’attention

Défi 4 : Prise en compte du contexte Le contexte peut être pris en compte sous différentes formes dans les interfaces: Réagir à des changements contextuels Adapter les interfaces au contexte Interrompre l’utilisateur Gestion des ressources Générer des méta-données

Prise en compte du contexte Applications proactives: Démarrer une application: alarmes, … Choisir une appli: position => PDA Paramétriser une appli: position, vitesse => système de navigation Démarrer un service Choisir un service Paramétriser un service Ex. Alarmes Ex. PDA dans un centre commercial Ex. navigation

Prise en compte du contexte Interfaces adaptables Hardware Choix des interfaces Adaptation aux interfaces Bruit / lumière Préférences …

Prise en compte du contexte Interruptions de l’utilisateur par le système Pré-définies: réunions prévues dans l’agenda. Déclenchées: appel téléphonique Choix du mode d’interruption selon le contexte (Interfaces attentives) Jean travaille : faire clignoter une icône en bas de l’écran Jean discute : attendre une pause dans la conversation pour interrompre oralement Jean. Négociation progressive Commence par un signal discret Minimiser la perception des modifications Images fade-out … (MIT) Tangible bits Modalités non utilisées Interfaces attentives à l’utilisateur Habitude / routine: augmenter les objets usuels. ubicomp / unremarkable computing Retarder / Annuler l’interruption Proactive computing Special Issue « Attentive User Interfaces », Communication ACM 2003.

Prise en compte du contexte Gestion des ressources Choix de l’imprimante la plus proche Plus généralement, utilisation des ressources les plus proches [D. Kirsh, The Intelligent Use of Space, Journal of Artificial Intelligence, 73 (1-2), (1995) 31-68. Online: http://iclserver.ucsd.edu/~kirsh/Articles/Space/AIJ1.html] Génération de méta-données automatiquement pour « étiqueter » les documents Ex: A quel endroit me trouvais-je lorsque … ? [G. D. Abowd, Classroom 2000: An Experiment with the Instrumentation of a Living Educational Environment, IBM Systems Journal, Special issue on Pervasive Computing, 38 (4), (1999) 508-530]

Défi 5 : Interfaces discrètes Ne pas accaparer l’attention de l’utilisateur ! Interfaces très opaques… Alternative: Interactions implicites, transparentes, calmes, … Implicit input: Acte de l’utilisateur interprétable par le système mais qui ne lui est pas destiné Implicit output: Réponse du système « intégrée » à l’environnement et à la tâche de la personne

Interfaces discrètes Exemple: Jean jette l’emballage d’un plat (taggué RFID) Analyser: Jean mange-t-il de ce plat souvent ? Reste-t-il de ce plat ? Proposer: Lorsque Jean est au supermarché: « désigner » ce plat.

Interactions implicites Un modèle [Riva et al: Ambient Intelligence, 2005] :

Interactions implicites: défis Interpréter les actes complexes d’une personne (communication) [Riva et al: Ambient Intelligence, 2005] Socle commun de connaissances (SCC) Contexte (common ground) langage modèle du monde histoire, … Contexte textuel Langage non-verbal (ex: être pressé) Rôles / Objectif des interlocuteurs Environnements physiques / sociaux « A common knowledge base is essential […] A discrepancy in the shared knowledge often leads to communication problems as probably most people have experienced in everyday life, especially when travelling abroad »

Interactions implicites: défis Interfaces traditionnelles: SCC réduit à peau de chagrin (vocabulaire limité, quelques concepts liés à l’application)… … Mais ça marche, car l’utilisateur est coopératif / connaît les limites du système Interfaces implicites: L’utilisateur n’explique pas au système: le SCC est indispensable !

Interactions implicites: défis Comment modéliser le SCC ? Pour des domaines très spécifiques (ex: achats alimentaires) « Modèles du monde », basés sur la logique du 1er ordre: Discourse Representation Theory Statistiquement: Latent Semantic: Signification d’un mot = coordonnées dans un espace à grandes dimensions « Un chien aboie » : Concepts Mots / phrases

Interactions implicites: défis Comment modéliser le contexte ? Langages de description d’ontologie: XML(SGML)-family OWL, Topic Maps, XCL Common Logic-family KIF, CGIF, XCL Description Logic-family SNOMED-CT, OWL ALC(D), SHOQ(D), SHIF(D), SHOIN(D) etc. Others UML, Entity-relationship model In OMG ODM (Ontology Definition Metamodel)

Interactions implicites: Mediated Space (IBM) S’interposer dans la communication entre personnes: En réunion / Dans une salle de classe Afin d’expliquer pourquoi et comment telle décision… Pour aider pendant la réunion Détecter incohérences Rappel de « patterns » d’interaction similaires passés … Techno de base: NIST Meeting Room evaluation

Interactions implicites: Mediated Space Analyser le contexte d’apprentissage de l’utilisateur Écouter la radio / TV … … en même temps que l’utilisateur: Rappeler plus tard le contexte, le contenu Corriger des erreurs, … Aide-mémoire Techno de base: NIST Broadcast News evaluation / campagne ESTER

Conclusions De nombreuses briques de base… … mais il reste à bâtir l’édifice !

Interactions implicites: en sortie Exemples… Développé par BT’s Research Labs: Interaction device qui utilise la lumière et des sons pour attirer l’attention de l’utilisateur, et la détection de mouvements (de la main) en entrée.

Développé par Violet: Lampe connecté à Internet par WiFi, sensible aux sons et au toucher, 9 zones de couleurs pour afficher des infos. Génère des odeurs en réponse aux emails/sms/…