La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

10 ANS DE RECHERCHES et PERSPECTIVES... en multimodalité(s) Jean Caelen, Joëlle Coutaz.

Présentations similaires


Présentation au sujet: "10 ANS DE RECHERCHES et PERSPECTIVES... en multimodalité(s) Jean Caelen, Joëlle Coutaz."— Transcription de la présentation:

1 10 ANS DE RECHERCHES et PERSPECTIVES... en multimodalité(s) Jean Caelen, Joëlle Coutaz

2 HISTORIQUE EN FRANCE Convergence dialogue + interaction théorie de laction// manipulation directe 1990 : émergence grenobloise, action du GdR-PRC CHM 1991 : école de printemps ECL (+70 participants) 1992 et suivantes : ateliers du GdR-PRC CHM 1993 : fondements de la communauté IHM

3 Des acquis rapides… Deux espaces conceptuels … centrés système et utilisateur CASE : Concurrent, Alterné, Synergique, Exclusif CARE : Complémentaire, Assigné, Redondant, Equivalent

4 CASE C = Concurrent, deux tâches distinctes, en parallèle, pas de coréférence A = Alterné, une tâche, entrelacement temporel, en coréférence de modalités S = Synergie, une tâche, en parallèle, en coréférence de modalité E = Exclusif, une tâche à la fois sans usage de la multimodalité

5 CARE C = Complémentarité, chaque mode est nécessaire (et contribue) à la compréhension de laction, A = Assignation, lusager choisit un mode récurrent particulier (ou un sous-ensemble de modes) pour sexprimer, R = Redondance, lusager utilise simultanément plusieurs modes à travers lesquels les informations sont redondantes, E = Equivalence, lusager choisit indifféremment tel ou tel mode (ou un sous-ensemble de modes).

6 Des acquis rapides… Des domaines dapplication prometteurs… … des démonstrateurs dans les laboratoires ICPdraw, MATIS, LIMSIdraw, VoicePaint, IODE… Parole + geste

7 Les problèmes fondamentaux Adéquation des modalités aux tâches Adéquation aux usages et aux profils dutilisateurs Fusion des entrées Fission des sorties

8 Adéquations… Quelle est l'adéquation d'une forme d'interaction à une tâche donnée ? à un utilisateur donné ? Comment tenir compte des contraintes environnementales pour optimiser l'efficacité et la fiabilité des commandes de l'utilisateur mais aussi celles des messages restitués par la machine ? Quels liens faut-il établir entre les modalités de sortie et les modalités d'entrée ? Comment circonscrire un espace d'interaction pertinent au regard de la tâche ?

9 Adéquations… La prédiction par Moz Le modèle ICS (Interactive Cognitive Sub-system) Lévaluation des démonstrateurs

10 Traitements… Fusion des entrées + Contexte interactionnel + Proximité temporelle + Coréférence sémantique Fission des sorties + Contexte interactionnel + « Affordance »

11 Evolution de la notion de modalité Modalités sensorielles Modalités de présentation Modalités daction

12 LE SYSTÈME VITESSE [VERNIER, NIGAY, 97] Utilisation dune vue en œil de poisson pour la représentation multiple dune grande quantité dinformation. Application à la recherche d'informations sur le Web

13 Différentes modalités possibles Sphère Sphère tronquée CylindreColline

14 Evolutions de la notion de modalité Modalités sensorielles Modalités de présentation Modalités daction

15 Présentation des résultats dans la Fish-Eye-View (avec hyperliens) Historique du dialogue Zone de détail dun document Boîte de dialogue de lusager Boutons dinteractions vocales

16 10 mythes (S. Oviatt) Ce nest pas parce quune interface est multimodale que les utilisateurs vont utiliser la multimodalité. Dans QuickSet la multimodalité est utilisée dans 20% du temps dune session de travail. Les utilisateurs passent dun mode à lautre sans raison apparente et restent unimodaux certainement pour des raisons de confort personnel. Cependant les commandes spatiales sont plus fréquemment multimodales ainsi que les informations de taille, de forme des objets, de nombres, de lieux et dorientations. La richesse sémantique de laction favorise la multimodalité.

17 10 mythes (S. Oviatt) Le pattern parole-pointage nest pas le plus intéressant. Depuis le fameux « mets ça là » de Bolt, la multimodalité a été centrée sur le paradigme de linteraction synergique. Dans ce paradigme la parole est considérée comme mode sémantique dominant et le geste de désignation comme subordonné. En fait cette conception est une survivance du concept clavier/souris (cest-à-dire de sélection sur une icône ou un menu), bien plus pauvre quune interaction qui utiliserait les mouvements gestuels, les expressions faciales ou corporelles, etc. Par exemple des études avec un stylo/voix montrent que la multimodalité est de 14% plus utilisée quavec une entrée souris/voix. Lutilisation des déictiques est aussi plus fréquent de 20%.

18 10 mythes (S. Oviatt) La multimodalité ne signifie pas obligatoirement « parallélisme ». En effet on a constaté que bien souvent le geste précède la parole (99% des cas), même lorsque les deux modes dénotent des informations synchrones comme les déictiques. Le degré danticipation dépend de la langue. Il ny a finalement que 25% des énoncés qui sont véritablement simultanés : synchronie ne signifie pas simultanéité.

19 10 mythes (S. Oviatt) La parole nest pas un mode « de base » dans un système multimodal. Cela nest vrai que sur le plan historique. Depuis il y a bien des systèmes qui utilisent la main et le regard par exemple comme modes dentrée, notamment dans les systèmes militaires. Le problème général de la multimodalité ne se pose donc pas en termes de commande+sélection, la commande étant linguistique et la sélection manuelle. Le problème ne se pose pas non plus en terme de source principale/source secondaire dans lequel on utiliserait la source secondaire dans le cas où la source principale serait dégradée.

20 10 mythes (S. Oviatt) Le langage multimodal ne diffère pas du langage unimodal. On peut dire seulement que le langage utilisé en contexte multimodal est syntaxiquement moins complexe, que les énoncés sont plus courts et que le débit est moins hésitant. Les ellipses sont plus fréquentes et les constructions linguistiques sont moins ambiguës, car les énoncés sont plus compacts. Il semble que ces propriétés rendent le langage multimodal plus apte à une intégration dans un système homme-machine.

21 10 mythes (S. Oviatt) Linteraction multimodale ne favorise pas la redondance. On pourrait croire le contraire, mais cela ne va pas dans un sens déconomie du point de vue de lutilisateur. Celui-ci va donc privilégier la complémentarité. Même dans le cas déchec puis dessais de correction, lusage de la redondance naugmente pas de façon significative. La redondance nest pratiquement utilisée que dans le sens dune recherche de fiabilité

22 10 mythes (S. Oviatt) Les erreurs sur un mode ne sont pas compensées par un autre mode. Il est illusoire de penser que lon va masquer les insuffisance dun mode (par exemple les erreurs de reconnaissance de la parole) par un autre mode. En réalité les erreurs se cumulent dun mode à lautre. Mais les utilisateurs optimisent lusage dun mode au profit de tel autre, après expérience faite de ses performances, ce qui rend somme toute, par effet indirect de lusage, linteraction plus robuste. Dans quelques cas cependant, lorsque une double incertitude se produit dans les deux modes dentrée, il est parfois possible de recouper linformation sur un critère de cohérence sémantique.

23 10 mythes (S. Oviatt) Les utilisateurs norganisent pas « leur » multimodalité de la même manière. Pour les uns, ce qui est séquentiel, est parallèle chez les autres. Tel mode est dominant chez les uns, et ne lest pas chez les autres. Tel mode est persistant, etc.

24 10 mythes (S. Oviatt) Les modes ne sont pas équivalents. Leur pouvoir dexpression est différent sans parler de leur pouvoir perceptuel, qui paraît plus évident. Cela signifie que le geste (et inversement la parole) ne peut tout exprimer dans une interaction, il y a des limitations cognitives. Même si parfois on eut rapprocher deux modes, ils nen différent pas moins par leurs propriétés différentes : précision, latence, etc. Certains modes sont plus inconscients ou passifs que dautres : la direction du regard par exemple.

25 10 mythes (S. Oviatt) Un système multimodal nest pas plus efficace quun autre. On croit souvent quun système multimodal sera plus efficace quun système monomodal, car on pourra faire plusieurs choses en même temps, se reposer en passant dun mode à lautre, réduire la charge perceptive et cognitive, économiser le temps de planification, etc. Des expériences ont prouvé le contraire : une commande multimodale est souvent plus longue à exprimer quune commande monomodale, car il y a un coût dû à la multimodalité (par exemple la multimodalité produit un débit de parole plus saccadé et des hésitations plus fréquentes).

26 10 ANS DE RECHERCHES PERSPECTIVES... en multimodalité(s)

27 Trois points clés Physicalité Mobilité Interactivité en grand et en petit

28 Physicalité Les principes de la Réalité Augmentée –Conservation des objets qui nous sont familiers –Amplification fonctionnelle par le calcul électronique Lordinateur évanescent mais doué dubiquité –Disparition de la boîte grise –Capacités de calcul réparties dans lenvironnement

29 Physicalité Exemple : Le Tableau Magique (F. Bérard) Modalité dentrée –le doigt, dispositif de pointage –feutres naturels, dispositifs décriture Modalité de sortie –inscriptions électroniques et physiques (complémentarité/redondance) Migration entre lélectronique et le physique –Post-Its

30 Physicalité Exemple : Le Tableau Magique

31 Physicalité Le Tableau Magique... dans son environnement naturel –Reflets –Ombres –Changement déclairage –suivi du doigt –colorisation

32 Physicalité et Environnements perceptifs Capteurs et effecteurs (caméra, dét. de bruit, mouvement, etc.) Apport : –migration de tâche vers le «système» –modélisation du «contexte» interactionnel

33 Physicalité et Environnements perceptifs Capteurs et effecteurs (caméra, dét. de bruit, mouvement, etc.) Apport : –migration de tâche vers le «système» –modélisation du «contexte» interactionnel Niveau de disponibilité

34 Physicalité et Environnements perceptifs Capteurs et effecteurs (caméra, dét. de bruit, mouvement, localis., etc.) Apport : –migration de tâche vers le «système» –modélisation du «contexte» interactionnel Multimodalité à de multiples niveaux dabstraction –fusion de données (robustesse du système, enrichissement sémantique) –fusion spatio-temporelle : la localisation du capteur importe

35 Mobilité Mobilité de lutilisateur mais le dispositif dinteraction est fixe (bornes interactives) –contexte dinteraction connu et système figé –migration des données personnelles de lutilisateur

36 Mobilité Mobilité de lutilisateur et du dispositif dinteraction –contexte dinteraction dynamique –tâches dépendantes de la localisation. –variabilité de la pertinence dune tâche et des concepts observables Modélisation de modalités : équivalence fonctionnelle avec adaptation dynamique –modalité des retours dinformations –modalité selon la connectivité : dégradation courtoise

37 Interactivité en grand et en petit Interactivité –En grand : le mur augmenté (cave) –En petit : le téléphone portable Tâche accomplie avec –un seul système à la fois (en grand ou en petit) en équivalence fonctionnelle –plusieurs systèmes à la fois (en grand et en petit) en complémentarité ou en redondance

38 Interactivité en grand et en petit La plasticité des Interfaces : analogie avec certains matériaux Une forme dadaptation –au contexte dinteraction –à la variété des dispositifs dinteraction La multimodalité est un élément clé dans la plasticité

39 En résumé : agenda de recherche Modalité à bas niveau dabstraction et contexte –modèle darchitecture –boîtes à outils Modalité à haut niveau dabstraction pour la plasticité –modélisation

40 En résumé : agenda de recherche Modalité à bas niveau dabstraction et contexte –modèle darchitecture –boîtes à outils

41 En résumé : agenda de recherche Modalité à bas niveau dabstraction et contexte –modèle darchitecture –boîtes à outils Modalité à haut niveau dabstraction pour la plasticité –modélisation –coûts système et humain

42 En résumé : agenda de recherche Modalité à bas niveau dabstraction et contexte –modèle darchitecture –boîtes à outils Modalité à haut niveau dabstraction pour la plasticité –modélisation –coûts système et humain

43 En résumé : agenda de recherche Modalité à bas niveau dabstraction et contexte –modèle darchitecture –boîtes à outils Modalité à haut niveau dabstraction pour la plasticité –modélisation –coûts système et humain


Télécharger ppt "10 ANS DE RECHERCHES et PERSPECTIVES... en multimodalité(s) Jean Caelen, Joëlle Coutaz."

Présentations similaires


Annonces Google