La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Journée Intech Device Independence – Page 1 IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry

Présentations similaires


Présentation au sujet: "Journée Intech Device Independence – Page 1 IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry"— Transcription de la présentation:

1 Journée Intech Device Independence – Page 1 IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry Projet Rainbow - Laboratoire I3S Merci tout particulièrement à Laurence Nigay, Gaelle Calvary de lIMAG et au GT Mobilité et Ubiquité, GDR

2 Journée Intech Device Independence – Page 2 Motivations et exemples dapplications visées

3 Journée Intech Device Independence – Page 3 IHM sur supports mobiles l Complexification de la conception ergonomique et logicielle

4 Journée Intech Device Independence – Page 4 IHM sur supports mobiles Complexification de la conception ergonomique et logicielle

5 Journée Intech Device Independence – Page 5 IHM sur supports mobiles l Complexification de la conception ergonomique et logicielle

6 Journée Intech Device Independence – Page 6 Les enjeux de la mutation l De nouveaux problèmes à résoudre – prendre en compte le contexte dans l'interaction Perception/modélisation/adaptation l Des solutions à des problèmes anciens à revoir – les techniques d'interaction : windows, icons, menus, pointing l Des problèmes classiques prennent une importance particulière – concevoir pour plusieurs plates-formes – Ingénierie au cas par cas insuffisante Coûts de développement et de maintenance Cohérence ergonomique entre versions

7 Journée Intech Device Independence – Page 7 Plasticité des interfaces l Un peu dhistoire … –Introduction du terme à Interact99 –Capacité dune interface à sadapter à son contexte dusage dans le respect de son utilisabilité –Contexte dusage Plate-forme Environnement Utilisateur (2001)

8 Journée Intech Device Independence – Page 8 Analyse des besoins Conception Conception logicielle Codage Tests Unitaires Tests dintégration Tests Utilisateurs Evaluation ergonomique Boîtes à outils Mécanismes généraux Modèle darchitecture logicielleEspace de conception Propriétés ergonomiques Dimensions de l espace problème

9 Journée Intech Device Independence – Page 9 Espace de conception : Plasticité Propriétés ergonomiques : Autonomie Poids Dimensions de l espace problème Conception ergonomique Conception logicielle Outil de développement : Context Toolkit

10 Journée Intech Device Independence – Page 10 Dimensions de l espace problème l Selon trois axes Techniques dinteraction Collaboration Contexte

11 Journée Intech Device Independence – Page 11 Dimensions de l espace problème l Selon trois axes Techniques dinteraction Collaboration Contexte

12 Journée Intech Device Independence – Page 12 Système interactif sensible au contexte l Système interactif sensible au contexte capable didentifier les circonstances qui entourent laction utilisateur en vue doffrir des services contextualisés –offre sélective dinformation –décoration contextuelle pour recherche ultérieure l Contexte : ensemble de propriétés de phénomènes physiques qui peuvent être captées

13 Journée Intech Device Independence – Page 13 Système interactif sensible au contexte

14 Journée Intech Device Independence – Page 14 Système interactif sensible au contexte l Exemple : Plate-forme MAGIC

15 Journée Intech Device Independence – Page 15 Applicatifs envisagés l Localisation de lutilisateur l Identification et localisation de dispositifs dinteraction

16 Journée Intech Device Independence – Page 16 Applications de proximité centraux légers CEPVendeursClients potentiels Centre hospitalier Serveurs BD, PC des secrétariats … Médecins : PDAs, PC portables Patients : carte vitale … Hospitalisation à domicile « HAN fixe » du patient Médecins : PDAs, PC portables …

17 Journée Intech Device Independence – Page 17 Dimensions de l espace problème l Selon trois axes Techniques dinteraction Collaboration Contexte

18 Journée Intech Device Independence – Page 18 Mobilité : nouveau découpage spatio-temporel l Déplacement dans lespace l Variation dans le temps : synchronisme/ asynchronisme local distant asynchrone synchrone

19 Journée Intech Device Independence – Page 19 l Vagabond / Ensemble : Hummingbird Viktoria Research Institute de Gothenburg (Suède) –Conscience de groupe –Indication visuelle et orale Confiné / Dispersé : Système collaboratif[Kraut 96] l Système mixte mobile –Magic, Troc (IMAG)

20 Journée Intech Device Independence – Page 20 Plate-forme Magic Camera + Micro Casque + Ecouteurs Capteur dorientation Stylos Tablette + Extenseur de port Réseau sans fils

21 Journée Intech Device Independence – Page 21 MAGIC : Travail sur le terrain de fouille l Explorer le site (Mobilité) l Travailler en groupe sur le site (Collecticiel) l Sinformer auprès dexperts distants (Collecticiel) l Comparer des objets physiques avec des objets dune base de données (Augmentation) l Accéder aux objets enlevés du site (Augmentation)

22 Journée Intech Device Independence – Page 22 MAGIC : vue densemble Sur la tablette : –Communication (forum, mail, etc.) –Coordination (carte) –Production (outils dédition) A travers le casque: –Combinaison du physique avec linformatique grâce à la passerelle

23 Journée Intech Device Independence – Page 23 Un archéologue travaille Il trouve un objet La découverte est retirée du site Lobjet est sauvegardé dans une base de données Un archéologue approche de où était lobjet La découverte est virtuellement disponible Terrain augmenté

24 Journée Intech Device Independence – Page 24 Dimensions de l espace problème l Selon trois axes Techniques dinteraction Collaboration Contexte

25 Journée Intech Device Independence – Page 25 Mobilité : Interface « Baby face » l De très nombreuses techniques d interaction l Technique dinteraction : plusieurs niveaux dabstraction –dispositif physique clavier, souris, écran, haut-parleur,... –Système représentationnel langue pseudo-naturelle, manipulation directe,... Système sensoriel Système cognitif

26 Journée Intech Device Independence – Page 26 Interface « Baby face » l Technique d interaction en sortie l Son spatialisé : T = Soundbeam Neckset RDV à 15h

27 Journée Intech Device Independence – Page 27 Dimensions de l espace problème l Interaction homme-machine Techniques dinteraction Collaboration Contexte

28 Journée Intech Device Independence – Page 28 Conclusion l Grande variété des études l Vaste espace de possibilités l Travaux pluridisciplinaires –Groupe de Travail 4.3 "Mobilité et Ubiquité du GDR I3 l Grande variété des domaines dapplication

29 Journée Intech Device Independence – Page 29 Des solutions : des traducteurs, la plasticité, la prise en compte du contexte, des architectures, lergonomie

30 Journée Intech Device Independence – Page 30 Traducteurs XML XSL HTML VoiceML WML XML et XSL pour la présentation, UIML, SUNML, Xforms ….

31 Journée Intech Device Independence – Page 31 Langage de description dinterfaces

32 Journée Intech Device Independence – Page 32 De lIHM abstraite vers lIHM concrète JFrame1 JPanel1 JLabel1JField1... IHM concrète (Exécution) Projection FicheClient MainDialog LabelFieldNomFieldNom... IHM abstraite (Exécution) HMI Dialog Field JFrame JPanel JTextFieldJLabel Légende Instance... Nom : Toto... Fichier SUNML (Spécification) Réification

33 Journée Intech Device Independence – Page 33 Plasticité des interfaces : une nécessité l Problème ? –Exemple SI la batterie du PC faiblit ALORS passer sur PDA –SI condition ALORS action Action Réaction

34 Journée Intech Device Independence – Page 34 Espace problème

35 Journée Intech Device Independence – Page 35 Espace problème l Domaine de plasticité Seuil de plasticité Domaine de plasticité C2 Contexte non couvert C1 Contexte couvert par lIHM

36 Journée Intech Device Independence – Page 36 Cadre de référence : phase conception Config 1 Modèle Tâches et Concepts IHM concrète IHM finale IHM abstraite Modèle Tâches et Concepts Modèles archétypes Config 2 Concepts Tâches User Plate-forme Environment Evolution Transition IHM concrète IHM finale IHM abstraite Concepts Tâches User Plate-forme Environment Evolution Transition Domaine Concepts Tâches Contexte User Plate-forme Environment Adaptation Evolution Transition Modèles ontologiques ARTStudio D. Thevenin Réification, Factorisation, Traduction, Abstraction / Reconception, Crossing, Intervention Humaine Spécifier 1 fois -> N Interfaces approche par modèles

37 Journée Intech Device Independence – Page 37 Tâches & Concepts IHM abstraite IHM concrète IHM finale Config 1 Cadre de r é f é rence : phase conception

38 Journée Intech Device Independence – Page 38 Reconnaissance de situation Exécution de la réaction Capture du contexte Identification Des solutions candidates Selection dune solution candidate Détection de changement de contexte Identification du changement de contexte Exécution du prologue Execution de la reaction Execution de Lépilogue Calcul dune réaction Cadre de r é f é rence : phase ex é cution

39 Journée Intech Device Independence – Page 39 Ingénierie : Capture de contexte l Donnée captée et méta-donnée Précision Fréquence Stabilité Zone de couverture Complétude Ambiguïté Complémentarité Redondance l Architecture logicielle

40 Journée Intech Device Independence – Page 40 l Contexte (U,T) = ensemble de rôles et de relations entre entités pour la réalisation de T par U l Changement de Contexte = lensemble des rôles change,et/ou lensemble des relations change l Tâches et activités ont lieu dans un réseau de contextes l Contexte (U,T) = un réseau de situations qui partagent le même ensemble de rôles et de relations Ontologie … Les tâches mettent en jeu des entités (ex.: une table, un crayon, une couleur) Entité = un regroupement dobservables Entités peuvent jouer un rôle = une fonction relative à une tâche, qui est satisfaite par une entité, (par exemple, une table satisfait la fonction « surface de dépôt ») Entités peuvent entretenir des relations Domaine (monde) = un réseau détats reliés par des actions État = un prédicat sur des observables But = état souhaité Tâche =, c.-à-d. absence de plan Activité =

41 Journée Intech Device Independence – Page 41 Approches par composants

42 Journée Intech Device Independence – Page 42 Applications visées Problématique l Applications évolutives et adaptables –accessibles via un PDA, un portable ou une station –variabilité des fonctionnalités selon le contexte d'utilisation (mode dégradé, connecté ou déconnecté, dépendance des ressources…) l Applications construites à base de composants (composants métiers, composants dIHM, composants services…) Sappuyer sur les infrastructures systèmes (RMI, EJB, …) Fournir une plate-forme à composants Exemples : –Agenda collaboratif –Gestion commerciale (facturations, commandes, client, fournisseur)

43 Journée Intech Device Independence – Page 43 Spécificités des applications et contraintes IHMs l Changement du contexte d'exécution du composant (dutilisation de fonctionnalités) d'une station à un PDA, un téléphone portable … "Reconfiguration" du composant l Retrait / ajout de composants (demande de fonctionnalités, de services) Composition de composants l Comment réutiliser une IHM existante sur un support différent ? l Comment composer les IHMs des composants métiers ? Déporter le composant prise de commande sur un PDA pour le consultant sur site Ajouter dynamiquement le service de gestion de stock pour informer du délai…

44 Journée Intech Device Independence – Page 44 Proposition : modèle de composants et abstraction l La communication entre composants IHM et métier est exprimée par des interactions l Un langage abstrait de description structurelle des IHMs : SUNML dans la lignée de XForms, RIML,... (inspiré de UIML) l Composition de composants métiers par interactions l Règles de composition adaptées aux IHMs l Fusion de règles vérifiant la cohérence de la composition l Atelier de composition Réutiliser des composants métiers Composer les IHMs des composants métiers Un modèle de composant + ISL + SUNML Un modèle de composants qui découple composant métier et composants d IHM. Spécification d IHM indépendantes du support

45 Journée Intech Device Independence – Page 45 De lIHM abstraite vers lIHM concrète JFrame1 JPanel1 JLabel1JField1... IHM concrète (Exécution) Projection FicheClient MainDialog LabelFieldNomFieldNom... IHM abstraite (Exécution) HMI Dialog Field JFrame JPanel JTextFieldJLabel Légende Instance... Nom : Toto... Fichier SUNML (Spécification) Réification durand Composant métier (Exécution) ? ? ?

46 Journée Intech Device Independence – Page 46 De lIHM abstraite vers lIHM concrète Séparation du composant dIHM du composant métier Expression des communications possibles entre ces composants avec ISL Adaptation des composants suivant le contexte dexécution durand FicheClient IHM concrète IHM abstraite Composant métier JFrame1 Légende Instance interaction Controleur

47 Journée Intech Device Independence – Page 47 Exemple de Liste de Clients Fichier SUNML (spécification) Exemple en Swing Composition Représentant – Client (1-n) : Liste de clients

48 Journée Intech Device Independence – Page 48 Ordinateur, ubiquité et mobilité Ubiquité (environnement équipé) Mobilité (utilisateur équipé)

49 Journée Intech Device Independence – Page 49 Ordinateur Vestimentaire l L ordinateur vestimentaire apparaît comme lordinateur de lutilisateur mobile –Encore souvent son téléphone, son ordinateur de bureau... –Or la mobilité appelle dautres applications pour l ordinateur : ordinateur de plongée,... l Il s agit souvent de systèmes Ad-Hoc, non ouverts, non flexibles

50 Journée Intech Device Independence – Page 50 Plate-forme matérielle/logicielle ouverte et flexible : l Un catalogue de composants matériels/logiciels «sur étagère» l Mutualisation des développements l Prototypage d applications de l Ordinateur Vestimentaire facilité

51 Journée Intech Device Independence – Page 51 Méthodologie Générale... l Assemblage de composants matériels l Conception de composants logiciels applicatifs l Assemblage et configuration des composants logiciels l Réalisation de code minimal de mise en œuvre de l'application

52 Journée Intech Device Independence – Page 52 Quelques composants... l Déjà à notre catalogue... l Dautres en préparation en collaboration avec des entreprises Sophipolitaines : Clipcard, Europe Technologies, IBM... : l GSM/SMS, capteurs divers biométriques... Capteurs sur I2C : Humidité, Température, divers boutons poussoirs... Compas numérique Serveur Web (HTTPD)

53 Journée Intech Device Independence – Page 53 Etude Ergonomique

54 Journée Intech Device Independence – Page 54 Interface « Baby face » : multimodalité l Plusieurs techniques ou modalités d interaction l Apports de la multimodalité –Flexibilité/adaptabilité (contexte d usage) –Robustesse (complémentarité, redondance) –Expressivité (complémentarité) l Problèmes posés –Validation empirique de ces apports –Etude de lusage des modalités (choix, appropriation, etc.)

55 Journée Intech Device Independence – Page 55 Interface « Baby face » : multimodalité l Technique = Go to the middle of the message T =

56 Journée Intech Device Independence – Page 56 Interface « Baby face » : multimodalité l Magicien d oz CompèreSujet observé

57 Journée Intech Device Independence – Page 57 Interface « Baby face » : multimodalité l Usage des modalités par les sujets l Toutes commandes / Toutes sessions Vocale Tactile Gestuelle Embodied

58 Journée Intech Device Independence – Page 58 Interface « Baby face » : multimodalité l Usage des techniques d interaction par les sujets l Variabilité inter-individuelle importante dans l usage (fréquence, préférences variées) l Spécialisation l Peu de redondance et de complémentarité

59 Journée Intech Device Independence – Page 59 Merci à … l Laurence Nigay (IMAG) : –Exposé de synthèse aux Asisses I3 l Marie THILLIEZ (Université de Valenciennes) : –LES APPLICATIONS DE PROXIMITE l Gaëtan Rey, Joëlle Coutaz (IMAG) : –LE CONTEXTEUR: UN MODELE COMPUTATIONEL POUR LE CONTEXTE l Joelle Coutaz et Gaelle Calvary (IMAG) : – Plasticité des interfaces l Philippe Renevier, Laurence Nigay, Pascal Salembier, l Jullien Bouchet, Laurence Pasqualetti (IMAG) –SYSTEMES MIXTES MOBILES ET COLLABORATIFS –TROC : UN JEU COLLABORATIF SUR SUPPORT MOBILE EXPLOITANT DES TECHNIQUES DE REALITE AUGMENTEE l Jean-Yves Tigli (I3S) –WCOMP : UNE PLATE-FORME EXPERIMENTALE OUVERTE D'ORDINATEUR VESTIMENTAIRE l Anne-Marie Dery-Pinna et Jérémy Fierstone (I3S) : –COMPOSANTS ADAPTABLES ET MOBILES –Et tout le groupe :

60 Journée Intech Device Independence – Page 60 IHM et multiplicité des supports : Enseignements à lESSI JY Tigli


Télécharger ppt "Journée Intech Device Independence – Page 1 IHM et multiplicité des supports : aperçu de la recherche actuelle et future Anne-Marie Déry"

Présentations similaires


Annonces Google