IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry pinna@essi.fr Projet Rainbow - Laboratoire I3S Merci tout.

Présentation au sujet: "IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry pinna@essi.fr Projet Rainbow - Laboratoire I3S Merci tout."— Transcription de la présentation:

1 IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry Projet Rainbow - Laboratoire I3S Merci tout particulièrement à Laurence Nigay, Gaelle Calvary de l’IMAG et au GT Mobilité et Ubiquité, GDR I3

2 Motivations et exemples d’applications visées

3 IHM sur supports mobiles
Complexification de la conception ergonomique et logicielle

4 IHM sur supports mobiles
Complexification de la conception ergonomique et logicielle

5 IHM sur supports mobiles
Complexification de la conception ergonomique et logicielle

6 Les enjeux de la mutation
De nouveaux problèmes à résoudre prendre en compte le contexte dans l'interaction Perception/modélisation/adaptation Des solutions à des problèmes anciens à revoir les techniques d'interaction : windows, icons, menus, pointing Des problèmes classiques prennent une importance particulière concevoir pour plusieurs plates-formes Ingénierie au cas par cas insuffisante Coûts de développement et de maintenance Cohérence ergonomique entre versions

7 Plasticité des interfaces
Un peu d’histoire … Introduction du terme à Interact’99 Capacité d’une interface à s’adapter à son contexte d’usage dans le respect de son utilisabilité Contexte d’usage Plate-forme Environnement Utilisateur (2001)

8 Dimensions de l ’espace problème
y s e d e s b e s o i n s Evaluation ergonomique T e s t s U t i l i s a t e u r s Espace de conception Propriétés ergonomiques C o n c e p t i o n T e s t s d ’ i n t é g r a t i o n C o n c e p t i o n l o g i c i e l l e Modèle d’architecture logicielle T e s t s U n i t a i r e s Boîtes à outils Mécanismes généraux C o d a g e

9 Dimensions de l ’espace problème
Espace de conception : Plasticité Propriétés ergonomiques : Autonomie Poids Conception ergonomique Conception logicielle Outil de développement : Context Toolkit

10 Dimensions de l ’espace problème
Selon trois axes Techniques d’interaction Collaboration Contexte

11 Dimensions de l ’espace problème
Selon trois axes Techniques d’interaction Collaboration Contexte

12 Système interactif sensible au contexte
capable d’identifier les circonstances qui entourent l’action utilisateur en vue d’offrir des services contextualisés offre sélective d’information décoration contextuelle pour recherche ultérieure Contexte : ensemble de propriétés de phénomènes physiques qui peuvent être captées

13 Système interactif sensible au contexte

14 Système interactif sensible au contexte
Exemple : Plate-forme MAGIC

15 Applicatifs envisagés
Localisation de l’utilisateur Identification et localisation de dispositifs d’interaction

16 Applications de proximité
centraux légers CEP Vendeurs Clients potentiels Centre hospitalier Serveurs BD, PC des secrétariats … Médecins : PDAs, PC portables Patients : carte vitale … Hospitalisation à domicile « HAN fixe » du patient Médecins : PDAs, PC portables …

17 Dimensions de l ’espace problème
Selon trois axes Techniques d’interaction Collaboration Contexte

18 Mobilité : nouveau découpage spatio-temporel
Déplacement dans l’espace Variation dans le temps : synchronisme/ asynchronisme asynchrone synchrone local distant

19 Vagabond / Ensemble : Hummingbird
Viktoria Research Institute de Gothenburg (Suède) Conscience de groupe Indication visuelle et orale Confiné / Dispersé : Système collaboratif[Kraut 96] Système mixte mobile Magic, Troc (IMAG)

20 Plate-forme Magic Casque + Ecouteurs Réseau sans fils
Stylos Tablette + Extenseur de port Réseau sans fils Capteur d’orientation Camera + Micro

21 MAGIC : Travail sur le terrain de fouille
Explorer le site (Mobilité) Travailler en groupe sur le site (Collecticiel) S’informer auprès d’experts distants (Collecticiel) Comparer des objets physiques avec des objets d’une base de données (Augmentation) Accéder aux objets enlevés du site (Augmentation)

22 MAGIC : vue d’ensemble Sur la tablette : A travers le casque:
Communication (forum, mail, etc.) Coordination (carte) Production (outils d’édition) A travers le casque: Combinaison du physique avec l’informatique grâce à la passerelle

23 Terrain augmenté Un archéologue travaille Il trouve un objet
La découverte est retirée du site L’objet est sauvegardé dans une base de données Un archéologue approche de où était l’objet La découverte est virtuellement disponible

24 Dimensions de l ’espace problème
Selon trois axes Techniques d’interaction Collaboration Contexte

25 Mobilité : Interface « Baby face »
De très nombreuses techniques d ’interaction Technique d’interaction : plusieurs niveaux d’abstraction dispositif physique clavier, souris, écran, haut-parleur, ... Système représentationnel langue pseudo-naturelle, manipulation directe, ... Système sensoriel Système cognitif

26 Interface « Baby face » Technique d ’interaction en sortie
Son spatialisé : T = <haut-parleur, LN> RDV à 15h Soundbeam Neckset

27 Dimensions de l ’espace problème
Interaction homme-machine Techniques d’interaction Collaboration Contexte

28 Conclusion Grande variété des études Vaste espace de possibilités
Travaux pluridisciplinaires Groupe de Travail 4.3 "Mobilité et Ubiquité” du GDR I3 Grande variété des domaines d’application

29 Des solutions : des traducteurs, la
Des solutions : des traducteurs, la plasticité, la prise en compte du contexte, des architectures, l’ergonomie

30 Traducteurs XSL HTML XML VoiceML WML
XML et XSL pour la présentation, UIML, SUNML, Xforms …. XSL HTML XML VoiceML WML

31 Langage de description d’interfaces

32 De l’IHM abstraite vers l’IHM concrète
Fichier SUNML (Spécification) IHM abstraite (Exécution) <sunml> <interface id="FicheClient"> <structure> <dialog id="MainDialog" sequence="true"> ... <field id="LabelFieldNom" mode="read"> <element type="String">Nom :</element> </field> <field id="FieldNom" mode="read-write"> <element type="String">Toto</element> </field> ... </dialog> </structure> </interface> </sunml> FicheClient HMI Réification MainDialog Dialog ... LabelFieldNom FieldNom Field Field Projection IHM concrète (Exécution) JFrame1 JFrame JPanel1 JPanel ... JLabel1 JField1 Légende JLabel JTextField Instance

33 Plasticité des interfaces : une nécessité
Problème ? Exemple SI la batterie du PC faiblit ALORS passer sur PDA SI condition ALORS action Action  Réaction

34 Espace problème

35 Espace problème Domaine de plasticité Seuil de plasticité
Contexte couvert par l’IHM C2 Contexte non couvert

36 Cadre de référence : phase “conception”
“Spécifier 1 fois -> N Interfaces”  approche par modèles ARTStudio D. Thevenin Modèles archétypes Domaine Concepts Tâches Contexte User Plate-forme Environment Adaptation Evolution Transition Modèles ontologiques Config 1 Modèle Tâches et Concepts Modèle Tâches et Concepts Config 2 Concepts Concepts Tâches Tâches IHM abstraite IHM abstraite User User Plate-forme Plate-forme IHM concrète IHM concrète Environment Environment Evolution Evolution IHM finale IHM finale Transition Transition Réification, Factorisation, Traduction, Abstraction / Reconception, Crossing, Intervention Humaine

37 Cadre de référence : phase “conception”
Config 1 Tâches & Concepts IHM abstraite IHM concrète IHM finale

38 Cadre de référence : phase “exécution” Exécution de la réaction
Identification du Identification Reconnaissance de situation changement de Des solutions Calcul d’une réaction contexte candidates Détection de Selection d’une solution candidate changement de contexte Capture du Exécution du contexte prologue Execution de Execution de la Exécution de la réaction L’épilogue reaction

39 Ingénierie : Capture de contexte
Donnée captée et méta-donnée Précision Fréquence Stabilité Zone de couverture Complétude Ambiguïté Complémentarité Redondance Architecture logicielle

40 Ontologie … Contexte (U,T) = ensemble de rôles et de relations entre entités pour la réalisation de T par U Changement de Contexte = l’ensemble des rôles change,et/ou l’ensemble des relations change Tâches et activités ont lieu dans un réseau de contextes Contexte (U,T) = un réseau de situations qui partagent le même ensemble de rôles et de relations Les tâches mettent en jeu des entités (ex.: une table, un crayon, une couleur) Entité = un regroupement d’observables Entités peuvent jouer un rôle = une fonction relative à une tâche, qui est satisfaite par une entité, (par exemple, une table satisfait la fonction « surface de dépôt ») Entités peuvent entretenir des relations Domaine (monde) = un réseau d’états reliés par des actions État = un prédicat sur des observables But = état souhaité Tâche = <état courant, but>, c.-à-d. absence de plan Activité = <tâche courante, {tâches de fond}>

41 Approches par composants

42 Applications visées Problématique
Applications évolutives et adaptables accessibles via un PDA, un portable ou une station variabilité des fonctionnalités selon le contexte d'utilisation (mode dégradé, connecté ou déconnecté, dépendance des ressources…) Applications construites à base de composants (composants métiers, composants d’IHM, composants services…)  S’appuyer sur les infrastructures systèmes (RMI, EJB, …)  Fournir une plate-forme à composants Exemples : Agenda collaboratif Gestion commerciale (facturations, commandes, client, fournisseur)

43 Spécificités des applications et contraintes IHMs
Changement du contexte d'exécution du composant (d’utilisation de fonctionnalités) d'une station à un PDA, un téléphone portable … "Reconfiguration" du composant Retrait / ajout de composants (demande de fonctionnalités, de services) Composition de composants Comment réutiliser une IHM existante sur un support différent ? Comment composer les IHMs des composants métiers ? Déporter le composant prise de commande sur un PDA pour le consultant sur site Ajouter dynamiquement le service de gestion de stock pour informer du délai…

44 Proposition : modèle de composants et abstraction
Composer les IHMs des composants métiers Réutiliser des composants métiers Spécification d ’ IHM indépendantes du support Un modèle de composant + ISL + SUNML Un modèle de composants qui découple composant métier et composants d ’IHM. Composition de composants métiers par interactions Règles de composition adaptées aux IHMs Fusion de règles vérifiant la cohérence de la composition Atelier de composition La communication entre composants IHM et métier est exprimée par des interactions Un langage abstrait de description structurelle des IHMs : SUNML dans la lignée de XForms, RIML,... (inspiré de UIML)

45 De l’IHM abstraite vers l’IHM concrète
Fichier SUNML (Spécification) IHM abstraite (Exécution) <sunml> <interface id="FicheClient"> <structure> <dialog id="MainDialog" sequence="true"> ... <field id="LabelFieldNom" mode="read"> <element type="String">Nom :</element> </field> <field id="FieldNom" mode="read-write"> <element type="String">Toto</element> </field> ... </dialog> </structure> </interface> </sunml> FicheClient HMI Réification MainDialog Dialog ... LabelFieldNom FieldNom Field Field ? ? Projection IHM concrète (Exécution) JFrame1 JFrame ? JPanel1 JPanel durand ... JLabel1 JField1 Composant métier (Exécution) Légende JLabel JTextField Instance

46 De l’IHM abstraite vers l’IHM concrète
Séparation du composant d’IHM du composant métier Expression des communications possibles entre ces composants avec ISL Adaptation des composants suivant le contexte d’exécution FicheClient Controleur IHM abstraite durand JFrame1 Composant métier IHM concrète Instance Légende interaction

47 Exemple de Liste de Clients
Composition Représentant – Client (1-n) : Liste de clients Fichier SUNML (spécification) <sunml> <interface id="ListeClients"> <structure> <dialog id="MainDialog" sequence="true"> <list id="ListeClients" reference="FicheClient" select="Field[FieldNom]"/> </list> </structure> </interface> </sunml> Exemple en Swing

48 Ordinateur, ubiquité et mobilité
(utilisateur équipé) Ubiquité (environnement équipé)

49 Ordinateur Vestimentaire
L ’ordinateur vestimentaire apparaît comme l’ordinateur de l’utilisateur mobile Encore souvent son téléphone, son ordinateur de bureau... Or la mobilité appelle d’autres applications pour l ’ordinateur : ordinateur de plongée, ... Il s ’agit souvent de systèmes Ad-Hoc, non ouverts, non flexibles

50 Plate-forme matérielle/logicielle ouverte et flexible :
Un catalogue de composants matériels/logiciels «sur étagère» Mutualisation des développements Prototypage d ’applications de l ’Ordinateur Vestimentaire facilité

51 Méthodologie Générale ...
Assemblage de composants matériels Conception de composants logiciels applicatifs Assemblage et configuration des composants logiciels Réalisation de code minimal de mise en œuvre de l'application

52 Capteurs sur I2C : Humidité, Température, divers boutons poussoirs ...
Quelques composants ... Déjà à notre catalogue... D’autres en préparation en collaboration avec des entreprises Sophipolitaines : Clipcard, Europe Technologies, IBM... : GSM/SMS, capteurs divers biométriques... Capteurs sur I2C : Humidité, Température, divers boutons poussoirs ... Compas numérique Serveur Web (HTTPD)

53 Etude Ergonomique

54 Interface « Baby face » : multimodalité
Plusieurs techniques ou modalités d ’interaction Apports de la multimodalité Flexibilité/adaptabilité (contexte d ’usage) Robustesse (complémentarité, redondance) Expressivité (complémentarité) Problèmes posés Validation empirique de ces apports Etude de l’usage des modalités (choix, appropriation, etc.)

55 Interface « Baby face » : multimodalité
Go to the middle of the message Technique = <d, s> T = <caméra-doigt, gestes> T = <micro, pseudo LN> T = <ordinateur, gestes> T = <stylet, manipulation directe>

56 Interface « Baby face » : multimodalité
Magicien d ’oz Compère Sujet observé

57 Interface « Baby face » : multimodalité
Usage des modalités par les sujets Toutes commandes / Toutes sessions Vocale Tactile Gestuelle Embodied

58 Interface « Baby face » : multimodalité
Usage des techniques d ’interaction par les sujets Variabilité inter-individuelle importante dans l ’usage (fréquence, préférences variées) Spécialisation Peu de redondance et de complémentarité

59 Merci à … Laurence Nigay (IMAG) :
Exposé de synthèse aux Asisses I3 Marie THILLIEZ (Université de Valenciennes) : LES APPLICATIONS DE PROXIMITE Gaëtan Rey, Joëlle Coutaz (IMAG) : LE CONTEXTEUR: UN MODELE COMPUTATIONEL POUR LE CONTEXTE Joelle Coutaz et Gaelle Calvary (IMAG) : Plasticité des interfaces Philippe Renevier, Laurence Nigay, Pascal Salembier, Jullien Bouchet, Laurence Pasqualetti (IMAG) SYSTEMES MIXTES MOBILES ET COLLABORATIFS TROC : UN JEU COLLABORATIF SUR SUPPORT MOBILE EXPLOITANT DES TECHNIQUES DE REALITE AUGMENTEE Jean-Yves Tigli (I3S) WCOMP : UNE PLATE-FORME EXPERIMENTALE OUVERTE D'ORDINATEUR VESTIMENTAIRE Anne-Marie Dery-Pinna et Jérémy Fierstone (I3S) : COMPOSANTS ADAPTABLES ET MOBILES Et tout le groupe :

60 IHM et multiplicité des supports : Enseignements à l’ESSI JY Tigli