1 IHM de demain ? É. Delozanne, M1-IHM, Paris 5 Interfaces Post-Wimp

2 IHM post Wimp ? Des besoins nouveaux et des technologies récentes… exemples De nouveaux paradigmes dIHM « Au-delà du bureau », interfaces post-WIMP Lordinateur évanescent, invisible, linformatique diffuse, pervasive Les interfaces multimodales La réalité augmentée, mixte, les interfaces tangibles Ingénierie des interfaces et méthodes de conception et dévaluation De la conception centrée-utilisateur à la conception centrée sur le contexte Les trois U : Utilité, Utilisabilité, Universalité Conception participative, études de terrains

3 Des besoins nouveaux… Support à des activités humaines collectives, diversifiées, situées Informatique de communication (MédiaSpace), Collecticiel « au-delà du bureau » Vie quotidienne, santé, culture Passage à léchelle Masses gigantesques dinformations Hypermédia planétaire Diversité extrêmes des publics, des cultures Plateformes diversifiées Informatique mobile Intégration entre les mondes physiques et informatiques « Le meilleur des deux mondes »

4 Quelques repères AFHIM : association francophone dinteraction Homme-Machine Un congrès annuel IHM2003 à Caen IHM2004 à Namur IHM2005 à Toulouse IHM2006 à Montréal Une revue scientifique : RIHM : Revue dInteraction Homme-Machine ACM Special Interest Group on Computer-Human Interaction SIGCHI Une conférence principale annuelle : CHI Beaucoup de conférences spécialisées Des revues

5 …Des problématiques nouvelles Inventer de nouveaux paradigmes dinteraction Informatique disséminée, diffuse (UbiComp) Interface tangible, réalité mixte et augmentée Approche Design Informatique sociale CSCW (Computer Supported Cooperative Work) Trouver de nouvelles méthodes de conception et dévaluation de nouveaux cadres théoriques pour les fonder Informatique située (Mackay & Beaudoin LafonA) Ethnométhodologie (Suchman) Interaction incarnée (Dourish) Action instrumentée (Rabardel)

6 Ubiquitous computing Mark Weiser (96) Inventeur du terme Ubiquitous computing Le 3ième paradigme (Alan Kay) Avant : Gros systèmes partagés par de nombreuses personnes Maintenant : Informatique personnelle Les gens et les machines se font face à travers le "bureau" Futur immédiat : L'informatique ubiquitaire La technologies tranquille ou la technologie disparaît en toile de fond de nos vies « Some Computer Science Issues in Ubiquitous Computing »

7 UbiComp 2002 Idées de base réalité augmentée Au lieu dapporter son travail sur son ordinateur de bureau, pourquoi ne pas introduire de linformatique là où on en a besoin : dans les murs, les tables les stylos, les montres, le papier etc. seamless interaction Il sagit dintroduire linformatique dans des objets familiers avec lesquels lordinateur interagit sans rupture. linformatique pervasive Lidée est que lon ne voit plus dordinateurs nulle part (lordinateur invisible) mais que linformatique soit partout

8 « Ubiquitous Computing » Les utilisateurs ne sont plus devant leur écran mais interagissent dans le monde entre eux et avec de nombreux appareils qui embarquent de linformatique Notions équivalentes Pervasive computing (latin pervadere se répandre partout) Invisible computer Disappearing computer (programme Européen) En français : informatique pervasive Conséquences : Informatique tangible

9 UbiComp : "The computer has evolved from a solitary, desk-bound box that demanded the users entire attention to a collection of smaller, ubiquitous information and communication appliances connected to a host of other such appliances and users, approaching Weisers vision of the pervasive and invisible computer. At the same time, users want these devices to be both highly informative and ecologically unobtrusive, keeping the user aware what is going on in various ways without unduly disrupting the current social or environmental context. "

10 Exemples : Une activité distribuée sur plusieurs types dappareils informatiques pick and drop (prendre et lâcher) Hyperdraging Écrans muraux La réalité augmentée les objets physiques support à la collaboration le contrôle aérien le meilleur des deux mondes Cahier dexpérimentation augmenté

11 Pick and Drop Métaphore Comme des baguettes prendre de la nourriture dun plat à lautre transférer des données dun ordinateur à lautre. technique de manipulation étend le concept du « drag and drop » aux environnements dutilisation dordinateurs multiples. Jun Rekimoto. Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments. In Proceedings of UIST97, pp , October

12 Pick and drop « With Pick-and-Drop, the user first picks up an computer object by tapping it with the pen tip and then lifts the pen from the screen. After this operation, the pen virtually holds the object. Then, the user moves the pen tip towards the designated position on the screen without contacting display surface. When the pen tip comes close enough to the screen, a shadow of the object appears on the screen as a visual feedback showing that the pen has the data. Then, the user taps the screen with the pen and the object moves from the pen to the screen at the tapped position. » « In our design, each pen is assigned a unique ID. This ID is readable from the computer when a pen is closer enough to its screen. We are currently using a combination of modifier buttons (attached to the pen as a side switch) to represent IDs. We also assume that all computers are connected to the network (either wired or wireless). There is a server called the pen manager on the network. »

13 Pick an drop

14 La palette du peintre Lutilisateur se sert dun ordinateur de poche comme dune palette de peintre pour écrire sur un tableau blanc. Il peut se servir de son crayon aussi bien pour travailler sur la palette que sur le tableau. On peut aussi travailler à plusieurs sur le tableau.

15 « Hyperdragging » surfaces augmentées par video : environnement hybride formé dune table digitale, dun mur électronique et dordinateurs portables créer un espace de travail continu entre les écrans dordinateurs portable, la table et le mur. Technique de manipulation directe pour déplacer linformation au-delà des limites des ordinateurs et des surfaces Fondée sur un système de reconnaissance dobjets à partir de marqueurs

16 Nouveaux besoins : support à lactivité Au travail : Activité collective : Les strips papier des contrôleurs aériens Activité multimédia :Le cahier dexpérimentation augmenté Activité nomade : Les ingénieurs en génie civil, en agriculture Activité de création : La conception architecturale Dans la vie quotidienne Émotions, affectivité, partage Gaver, Kinetic Typography Habitat intelligent comHome Consommation La mode : Miralab, Igrashi Welbo, Rekimoto Divertissement, éducation : tableau interactif

17 Strips papier des contrôleurs aériens Mackay 97 « De nombreux projets d'automatisation ou de semi- automatisation se sont soldés par des échecs magistraux. Par exemple, l'administration des impôts américaine a récemment annoncé qu'elle a dépensé 4 milliards de dollars pour un nouveau système informatisé qui a finalement été abandonné car il ne fonctionnait pas. L'histoire de l'automatisation est pleine d'exemples similaires où des systèmes très coûteux sont abandonnés ou maintenus bien qu'ils diminuent la productivité des utilisateurs. »

18 Strips papier des contrôleurs aériens (Mackay 97) « Les contrôleurs gèrent le trafic essentiellement à l'aide de trois outils : le radar qui leur fournit une image de la situation dans un secteur donné, la radio qui leur permet de communiquer avec les pilotes et les strips des vols (voir figure 1). Les strips des bandes de papier sur lesquelles sont imprimées les informations sur l'avion et son plan de vol sont rangés dans un tableau de strips organisé selon un ordre qui varie selon les individus. les strips correspondant à des conflits sont souvent rangés côte à côte. Les strips des avions dont il faut se souvenir sont décalés. Les contrôleurs annotent les instructions données aux avions sur les strips. Sen servent d'aide-mémoire et de moyen de communication entre les contrôleurs. permettent aux autres contrôleurs de savoir quelles instructions ont été données au pilote par le contrôleur radariste sans avoir à déranger celui-ci. Le rôle essentiel des strips est revendiqué par les contrôleurs Les strips sont cependant éliminés des projets d'automatisation, du moins sous leur forme papier Ainsi, un système sans strips papiers a déjà été implémenté à Maastricht, mais seulement pour les secteurs supérieurs et le trafic en route, qui constituent un type de trafic plus simple. »

19 Strips papier des contrôleurs aériens (Mackay 97)

20 Le cahier dexpérimentation (Mackay 2002) Le cahier dexpérimentation (institut Pasteur ) outil pour la recherche et document légal avantages multimédia : post-it, photos, séquences dADN,radios etc simple à utiliser et flexible, rapide à utiliser, portable Permanent : les cahiers dexpérimentation de la fin du XIX siècle /documents informatiques des années 70 (les formats des fichiers ne sont plus lisibles) inconvénients pas de fonctionnalités dindexation, de création de table de matières, recherche dans le cahier mais aussi dans les archives, références en général idée : un cahier augmenté pour avoir le meilleur des deux mondes

21 Le cahier dexpérimentation (Mackay 2002)

22 La réalité augmentée Def : augmente les objets physiques dans le monde réel avec la technologie informatique Environnements qui intègrent des capacités informatiques dans des objets physiques « Des objets familiers mais radicalement nouveaux » « the computer in the real world » Comment augmenter ? Lutilisateur Lobjet Lenvironnement

23 La réalité mixte Lutilisateur manipule à la fois des objets virtuels et des objets physiques IHM : Interaction des Humains avec des Mondes à la fois physiques et virtuels Exemples : WELBO Développé au R Systems Laboratory, Kodak, Japon par H. Tamura et son équipe. system.co.jp/project/index_e.html system.co.jp/project/index_e.html

24 Welbo

25 Création : Esquisse Pierre Leclerc, Interface esquisse en ingénierie de conception, Démonstration IHM Disappearing computer : Larchitecte utilise gomme et crayon et travaille sur un bureau où il trace des croquis et des plans à la main et pas sur un écran avec des menus.

26 Création : Esquisse

27 Interface tangible Exemples Le métre augmenté (CHI2000) Marble answering machine (Bishop 95) IO/Brush Il sagit de remplacer linteraction avec des objets virtuels icône, menu etc par une interaction avec des objets physiques Métre, bille, piéces déchec Informatique tangible = UbiComp + Design « Graspable interfaces »

28 Les émotions Gaver : Explore la transmission de sentiments amoureux Transmettre des rêves Des émotions (plumes, musiques etc.) Kim Bisted HyperMask, Des masques projetés sur des visages pour des créations théatrales Pervasive computing & magic

29 Kinetic Typography Johnny C. Lee, Jodi Forlizzi, Scott E., The Kinetic Typography Engine: An Extensible System for Animating Expressive Text, UIST2002 Absolument voir la vidéo pour comprendre le pouvoir évocateur Kinetic typography : text that uses movement or other temporal change – Kinetic typography – text that uses movement or other temporal change – has recently emerged as a new form of communication. As we hope to illustrate in this paper, kinetic typography can be seen as bringing some of the expressive power of film – such as its ability to convey emotion, portray compelling characters, and visually direct attention – to the strong communicative properties of text. Although kinetic typography offers substantial promise for expressive communications, it has not been widely exploited outside a few limited application areas (most notably in TV advertising). One of the reasons for this has been the lack of tools directly supporting it, and the accompanying difficulty in creating dynamic text. This paper presents a first step in remedying this situation – an extensible and robust system for animating text in a wide variety of forms. By supporting an appropriate set of carefully factored abstractions, this engine provides a relatively small set of components that can be plugged together to create a wide range of different expressions. It provides new techniques for automating effects used in traditional cartoon animation, and provides specific support for typographic manipulations.

30 Salon dessayage virtuel

31 Habitat intelligent Dans le cadre du projet européen : Disappearing Computer Projet comHome Video CHI les réfrigérateurs intelligents qui vous téléphonent à votre bureau pour vous rappeler de passer prendre du lait avant de rentrer, le banc sur lequel vous vous asseyez et qui vous donne les nouvelles de la communauté Le miroir qui vous dit que vous êtes la plus belle… Une introduction à l « ambient intelligence » en français : 3/BASKIOTIS_FEREY/ambientintelligence.htm

32 Manipulation directe coups de cœur Clothing manipulation UIST 2002 Smart skin (Rekimoto)

33 Clothing manipulation

34 Concepts "Pervasive computing, Diseappearing computer, invisible computer Information appliance Everyday technology Affective computing Qualités ergonomiques et hédoniques des interfaces Augmented Reality Graspable interfaces Tangible interfaces Seamless interfaces Traversable interfaces Situated Computing, Embodied interaction Context aware computing Wearable computing

35 Application à l'éducation Story telling et CHI Kids shoulder to shoulder collaboration (vs distributed collaboration) Video cours multimédia Interactif Textbook Les simulateurs en formation professionnelle Le tableau Magique (Berard, Clips) etc… Smart classroom Le papier, les livres et cahiers augmentés

36 Les problèmes ouverts Techniques Plasticité etc… Design Patterns Dourish : Information appliances/convergence Interface invisible/ interface médiatrice Rôle des sciences sociales Relations entre les représentations physiques et symboliques et la notion de représentation

37 Références Video : Mot de passe spécial pour paris5 Actes de conférences : Proceedings of the CHI2000,ACM, The Hague, Netherlands 1-5 April 2000,A-W ISBN X Ann Blandford, Jean Vanderdonckt, Phil Gray (Eds), People and computers-Interaction without Frontiers, Joint Proceedings of HCI2001 and IHM2001, Lille, France, Springer, 592 p., ISBN Proceedings of UIST 2002, ACM Symposium on User Interface Software and Technology, Paris, France, CHI Letters 4(2), ISBN Proceedings of IHM2002, International Conference Proceedings Series, ACM 2002, Poitiers, France. ISBN /02/0011

38 Références (suite) Un livre de réflexion : Paul Dourish, Where the Action Is : the Foundations of Embodied Interaction, Bradford Book, MIT Press, 233 p., 2001, ISBN Un livre panoramique et collectif : John M. Caroll (ed), Human Computer Interaction in the new Millennium, Addison Wesley, 2001, 700 pages.

39 Take Home messages Une vision aborigène du monde : le monde est linterface avec linformatique (pas une souris ou un clavier (Jakup Wejchert, Commission Européenne) La conception sorganise autour de trois axes La technologie Les gens Le Design Conception centrée sur lactivité des gens, le contexte plus sur lordinateur Lactivité peut être distribuée sur plusieurs appareils et requiert lutilisation coordonnée de plusieurs artefacts sans que les utilisations soient séquentielles