Point de vue technologique

Présentation au sujet: "Point de vue technologique"— Transcription de la présentation:

1 Point de vue technologique
Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante Point de vue technologique Repartir chaque diapo en: Defis Realisations Supprimer les dernieres diapo Rassembler les diapos: multitude capteurs Multitude effecteurs Christophe Cerisara

2 La place des interfaces en AmI
« One of the most significant challenges in AmI/pervasive computing technologies is to create user-friendly interfaces. » [Raisinghani et al., Journal of Digital Information, août 2004] « Interfaces, especially user interfaces are one of the crucial building blocks for AmI because they define the experience the user will have with the intelligence surrounding him/her. » [Y. Punie, Key deliverable (EPTS, CEE) 2003] « A central challenge of AmI is to create systems that are intuitive to use […] This will require techniques for dialogue-based and goal orientated negotiation systems […] Pattern recognition (including speech and gesture) is a key area that is evolving rapidly. » [ISTAG Scenarios]

3 Besoin de nouvelles interfaces
Caractéristiques AmI Interfaces traditionnelles Multiplicité des capteurs/terminaux capteurs/terminaux prédéfinis Nombreuses applications une, au mieux quelques applications Mobilité peu d’adaptation au contexte (changements de capteurs, interruption, …) Utilisateur quelconque Utilisateur moyen (vs. handicapé / très âgé / enfant /…) Interfaces transparentes/discrètes accapare l’attention de l’utilisateur Multi-utilisateurs un seul utilisateur à la fois s’adresse au système

4 Plan Comment adapter ces interfaces aux besoins de l’AmI ?
Multiplicité des capteurs/terminaux Multiplicité des applications Environnements multi-utilisateurs Prise en compte du contexte Interactions implicites

5 Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Protocoles UPnP, JXTA …

6 Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Sélection à base de règles (éventuellement apprises) Proximité: GPS, détecteurs IR… Détection de l’utilisateur Standard supporté Contexte, préférences…

7 Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Programmation Dynamique: Minimisation de distances

8 Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI Problèmes de l’IHM classique: capteurs prédéfinis Solutions technologiques : Découvrir les terminaux Sélection du meilleur terminal Fusion séquentielle des flux d’information Normalisation des données Ex: Flux audio: réduction du bruit convolutif Normalisation par histogrammes CMN, CVN, …

9 Exemples de réalisations…
Philips Research: « Follow me with magic wands » Fraunhofer ICG: découverte automatique des devices afin de les représenter (et de les contrôler) sur un PDA

10 Exemples de réalisations…
Exemple : UbiComp Browser (Univ. de Karlsruhe) 1 capteur, N écrans. Accès au Web à travers le PDA Affichage sur des écrans environnants. Sélection par: La proximité (notion de pièce, localisation IR) Les standards supportés Choix par des règles prédéfinies.

11 Défi 1: gérer la multiplicité des terminaux
Plate-forme d’AmI Défis technologiques : Fusion instantanée des flux : utiliser tous les capteurs Améliorer la précision des capteurs / corriger les erreurs Nouvelles informations : ex. stéréophonie Prendre en compte un contexte plus large

12 Défi 2 : Multiplicité des applications
Problèmes: Unicité des interfaces pour/adaptées à l’utilisateur Réduire les coûts de développement / Ne pas recréer de nouvelles interfaces à chaque application Solutions technologiques: Langage de description des interfaces indépendant des terminaux Génération automatique des interfaces (Nichols, CMU) Exemple 1 : IBM Universal Information Appliance : Un seul PDA qui accède à tous les services / appareils Mobile Document Application Language (MoDAL): basé sur XML, décrit les interfaces et applications. Il implémente 4 actions: Afficher un GUI Réaliser des calculs locaux Lire / écrire sur une base de données locale Envoyer / recevoir des messages sur le réseau

13 Multiplicité des interfaces
Exemple 2 : EMBASSI project Langage de description des interfaces basé sur XML: <?xml version="1.0" encoding="UTF-8"?> <input id="field1" lang="DE" … > <caption> <text>Name:</text> </caption> <hint>Please enter your name. Up to 50 characters </hint> <help>

14 Défi 3 : Environnements multi-utilisateurs
Gérer plusieurs utilisateurs simultanément Gérer des utilisateurs « non standards »: Âgés, enfants, handicapés, … Technologies de base ? Identification Reco. des actes de dialogue Reco. robuste aux bruits / BSS Problèmes (non résolus) Identité des locuteurs ? Qui parle ? A qui ? TeleTact II (CNRS) LABIAO (LORIA): Enfants mal-entendants Communauté d’utilisateurs N’accapare pas l’attention

15 Défi 4 : Prise en compte du contexte
Le contexte peut être pris en compte sous différentes formes dans les interfaces: Réagir à des changements contextuels Adapter les interfaces au contexte Interrompre l’utilisateur Gestion des ressources Générer des méta-données

16 Prise en compte du contexte
Applications proactives: Démarrer une application: alarmes, … Choisir une appli: position => PDA Paramétriser une appli: position, vitesse => système de navigation Démarrer un service Choisir un service Paramétriser un service Ex. Alarmes Ex. PDA dans un centre commercial Ex. navigation

17 Prise en compte du contexte
Interfaces adaptables Hardware Choix des interfaces Adaptation aux interfaces Bruit / lumière Préférences …

18 Prise en compte du contexte
Interruptions de l’utilisateur par le système Pré-définies: réunions prévues dans l’agenda. Déclenchées: appel téléphonique Choix du mode d’interruption selon le contexte (Interfaces attentives) Jean travaille : faire clignoter une icône en bas de l’écran Jean discute : attendre une pause dans la conversation pour interrompre oralement Jean. Négociation progressive Commence par un signal discret Minimiser la perception des modifications Images fade-out … (MIT) Tangible bits Modalités non utilisées Interfaces attentives à l’utilisateur Habitude / routine: augmenter les objets usuels. ubicomp / unremarkable computing Retarder / Annuler l’interruption Proactive computing Special Issue « Attentive User Interfaces », Communication ACM 2003.

19 Prise en compte du contexte
Gestion des ressources Choix de l’imprimante la plus proche Plus généralement, utilisation des ressources les plus proches [D. Kirsh, The Intelligent Use of Space, Journal of Artificial Intelligence, 73 (1-2), (1995) Online: Génération de méta-données automatiquement pour « étiqueter » les documents Ex: A quel endroit me trouvais-je lorsque … ? [G. D. Abowd, Classroom 2000: An Experiment with the Instrumentation of a Living Educational Environment, IBM Systems Journal, Special issue on Pervasive Computing, 38 (4), (1999) ]

20 Défi 5 : Interfaces discrètes
Ne pas accaparer l’attention de l’utilisateur ! Interfaces très opaques… Alternative: Interactions implicites, transparentes, calmes, … Implicit input: Acte de l’utilisateur interprétable par le système mais qui ne lui est pas destiné Implicit output: Réponse du système « intégrée » à l’environnement et à la tâche de la personne

21 Interfaces discrètes Exemple: Jean jette l’emballage d’un plat (taggué RFID) Analyser: Jean mange-t-il de ce plat souvent ? Reste-t-il de ce plat ? Proposer: Lorsque Jean est au supermarché: « désigner » ce plat.

22 Interactions implicites
Un modèle [Riva et al: Ambient Intelligence, 2005] :

23 Interactions implicites: défis
Interpréter les actes complexes d’une personne (communication) [Riva et al: Ambient Intelligence, 2005] Socle commun de connaissances (SCC) Contexte (common ground) langage modèle du monde histoire, … Contexte textuel Langage non-verbal (ex: être pressé) Rôles / Objectif des interlocuteurs Environnements physiques / sociaux « A common knowledge base is essential […] A discrepancy in the shared knowledge often leads to communication problems as probably most people have experienced in everyday life, especially when travelling abroad »

24 Interactions implicites: défis
Interfaces traditionnelles: SCC réduit à peau de chagrin (vocabulaire limité, quelques concepts liés à l’application)… … Mais ça marche, car l’utilisateur est coopératif / connaît les limites du système Interfaces implicites: L’utilisateur n’explique pas au système: le SCC est indispensable !

25 Interactions implicites: défis
Comment modéliser le SCC ? Pour des domaines très spécifiques (ex: achats alimentaires) « Modèles du monde », basés sur la logique du 1er ordre: Discourse Representation Theory Statistiquement: Latent Semantic: Signification d’un mot = coordonnées dans un espace à grandes dimensions « Un chien aboie » : Concepts Mots / phrases

26 Interactions implicites: défis
Comment modéliser le contexte ? Langages de description d’ontologie: XML(SGML)-family OWL, Topic Maps, XCL Common Logic-family KIF, CGIF, XCL Description Logic-family SNOMED-CT, OWL ALC(D), SHOQ(D), SHIF(D), SHOIN(D) etc. Others UML, Entity-relationship model In OMG ODM (Ontology Definition Metamodel)

27 Interactions implicites: Mediated Space (IBM)
S’interposer dans la communication entre personnes: En réunion / Dans une salle de classe Afin d’expliquer pourquoi et comment telle décision… Pour aider pendant la réunion Détecter incohérences Rappel de « patterns » d’interaction similaires passés … Techno de base: NIST Meeting Room evaluation

28 Interactions implicites: Mediated Space
Analyser le contexte d’apprentissage de l’utilisateur Écouter la radio / TV … … en même temps que l’utilisateur: Rappeler plus tard le contexte, le contenu Corriger des erreurs, … Aide-mémoire Techno de base: NIST Broadcast News evaluation / campagne ESTER

29 Conclusions De nombreuses briques de base…
… mais il reste à bâtir l’édifice !

30 Interactions implicites: en sortie
Exemples… Développé par BT’s Research Labs: Interaction device qui utilise la lumière et des sons pour attirer l’attention de l’utilisateur, et la détection de mouvements (de la main) en entrée.

31 Développé par Violet: Lampe connecté à Internet par WiFi, sensible aux sons et au toucher, 9 zones de couleurs pour afficher des infos. Génère des odeurs en réponse aux s/sms/…