L’usage des modalités dans une interface de téléphonie J. Caelen, J

Présentation au sujet: "L’usage des modalités dans une interface de téléphonie J. Caelen, J"— Transcription de la présentation:

1 L’usage des modalités dans une interface de téléphonie J. Caelen, J
L’usage des modalités dans une interface de téléphonie J. Caelen, J. Coutaz ; A. Bisseret Contrat CNET-CogniSciences (94-96) 1

2 Plan Introduction Dispositif et conditions expérimentales (Vidéo)
Analyse des résultats Analyse des tâches Analyse des actions Conclusion plan classique 2

3

4 Travaux Déroulement des travaux Pré-expérience : tâche de dessin
Développement de la plate-forme Supratel + Neimo Expérimentation Magicien d’Oz Méthode expérimentale Sujets : utilisateurs potentiels Rôles : compères (pas d’initiative) / sujets (fait ou fait faire) Vocabulaire : restreint, syntaxe libre Les scénarios : tous les services pré expérience sur 5 sujets qui a permis : la mise au point des stratégies des compères, de repérer les problèmes principaux se posant pour l'utilisation de l'interface, d'affiner les consignes Simulation différent de Magicien d'OZ : ¤ simulation réaliste très difficile. [Dahlbäck 91a] : important de ne pas simuler de manière trop utopiste / capacités réelles --> conclusions trop optimistes. ¤ pour nous important de ne pas reproduire le système de reconnaissance de la parole de l'inconscient collectif. (voix mécanique pour que sujets croient que système est réel, et aient un comportement naturel). l'IHM pas naturelle, + en cachant la simulation nous introduirions d'autres biais sur l'idée que nous nous faisons d'un système de reconnaissance. ¤ permet aussi d'éviter le comportement de test [Maulsby 93]. ¤ Consignes : important de faire "comme si" = théories de l'engagement (un i s'implique s'il choisi délibérément de le faire, sans contrepartie) ¤ Mais existe quand même des biais : crainte d'un jugement social / compères (mais présent aussi dans une interface réelle) 3

5 Exemples de commandes 5

6 Exemple de scénarios Simulation d’une interruption
Tâche initialisée par le sujet SCÉNARIO 4 Le numéro de Mireille PARRAN a Pendant la saisie, envoi d'un changé, effectuer les modifications dans fax de Marie Lenoir le répertoire : Si un fax arrive, consultez le Tâche initialisée par le sujet SCÉNARIO 3 téléphoner à Mme Camille MORIN pour inciter visiophonie (ne possédez vous pas la visiophonie demander l'heure et le jour de la inciter miroir (êtes vous sur que vous êtes bien cadré, prochaine réunion je vous vois mal ) date par exemple : 20 décembre 10h30 7

7 Exemple de réalisation Réalisation des tâches
10

8 Résultats globaux Réalisation des tâches
multim 166 tâches 93 manuelles 25 orales 48 multimodales 29% manuel parole 56% 15% Pourcentage des différents types de tâches Cette différence entre le nombre de réalisation monomodales orales et multimodale peut être expliquée de deux façons : Soit la multimodalité observée est liée à la catégorie des sujets (novice, expert) — ils commencent leur tâche d'une manière puis se rappellent en cours de réalisation qu'il existe un autre moyen pour l'exécuter. Soit l'usage multimodal est spontané, et les sujets trouvent plus naturel d'utiliser la commande orale dans certains cas et la commande manuelle dans d'autres. habitude des interfaces graphiques parole + multimodalité < manuel 11

9 Résultats globaux Réalisation des tâches
20 Modalités / sessions utilisation identique Modalités / tâches de complexité tél : simplicité sémantique fax : plus complexe rép : difficulté graphique (avec assignation graphique pour la saisie) 15 10 parole multimod manuel 5 rép fax tél La tâche de téléphone : commande graphique, simple. commande orale, la phrase "Appeler Monsieur X" est habituelle dans le langage commun. De plus elle est d'une complexité sémantique faible, et ne requière que deux arguments. 80% monomodales La tâche de fax : commande graphique la tâche peut être réalisée en 5 clics au minimum, mais dont l’enchaînement est relativement aisé à trouver pour un utilisateur non expert. commande orale plus complexe sémantiquement que pour la tâche de téléphone, si l’on veut réaliser la tâche en une seule fois. (nom du destinataire + nom des documents). --> commandes soient à dominance multimodale et manuelle. La tâche de répertoire : commande graphique, la sous-tâche de modification de fiche pose particulièrement problème du fait de l’organisation des actions à produire. commande orale, les deux commandes orales obligatoires sont séparées par la saisie qui est assignée en graphique. Près de 40% des réalisations sont multimodales à cause de cette difficulté de l’interface et de l’assignation qui fait que le sujet reste en modalité manuelle après avoir fini la saisie. Pourcentage d'utilisation des modalités en fonction des services 12

10 Stratégies des sujets Réalisation des tâches
Utilisation dominante d’une modalité Trois types d'utilisateurs S15 S3 S4 S5,11 S6 S7 S8 S12 S13 S14 S16 S17 S18 1 11 Dominante manuel 6 multimodal parole Certains sujets utilisent donc les modalités de manière quasi exclusive. En effet, aucun sujet n'utilise les modalités dans les mêmes proportions (ce qui correspondrait à un tiers pour chaque type d'utilisation : manuelle, orale et multimodale). Cela peut signifier qu'il existe dès le début de l'utilisation une préférence marquée pour un type donné de mode. Il existe trois types d'utilisateurs, et même si le groupe "usage manuel" est largement dominant, les deux autres groupes sont tout de même représentés. Pour la majorité des sujets l'apport de la parole semble donc être un dispositif supplémentaire d'interaction, mais non une révolution. 11 6 1 Stratégie globale des sujets pour la totalité des tâches 13

11 Stratégies des sujets Réalisation des tâches
10 20 30 40 50 60 70 pas de différence / sexe pas de différence / profession différence / âge parole multimod manuel [20-30] [30-40] [40-50] Influence du facteur "habitude" Utilisation des modalités en fonction de l'âge Il n'y a pas de différence entre les hommes et les femmes, ni entre les professions en ce qui concerne l'utilisation des différentes modalités. On observe par contre une différence d'utilisation des modalités en fonction de l'âge. Nous avons séparé les sujets en trois classes d'âge : [20;30] ; [30;40] ; [40;50]. Dans la figure suivante, on peut voir que plus les sujets sont jeunes, plus ils utilisent la parole et la multimodalité, et moins ils utilisent la modalité manuelle. Cette variation peut être expliquée par facteur "habitude" qui fait que moins le sujet est jeune, et plus il est habitué à utiliser la modalité manuelle, dont il connaît les réactions, et moins il est disposé à utiliser un autre mode d'interaction. 14

12 Analyse des tâches multimodales Réalisation des tâches
Multimodalité induite vs spontanée 35 changements spontanés 12 changements induits Multimodalité comme mode de récupération des erreurs induit 9% spont 25% s. chang 66% Pourcentage des réalisations sans changement vs avec changement de modalité Déf induit / spontané L'usage spontané 2/3 réalisations multimodales. --> existe des facteurs inhérents aux sujets qui les amènent à utiliser les différentes modalités au cours d'une même tâche. L’usage induit : 1/3 des changements. Les causes : Liées au sujet : comme pour une application de dessin d'un problème de sélection, de commandes orales lacunaires, etc. Liées à l'organisation de l'interface, et aux choix faits tant au niveau graphique qu'au niveau des possibilités d'utilisation des différentes modalités. Induits : Organisation graphique de l'interface : discontinuité de l'information [Duke 94], [May 96], enchaînement d'actions non intuitives, simple clic pour l'activation des services, etc. Nous les connaissions pour la plupart mais l'accent était mis sur la connexion de cette maquette à une simulation multimodale de la plate-forme NEIMO, et il ne s'agit pas ici d'évaluer cette maquette. 15

13 Les propriétés T-Ccare Réalisation des tâches (8)
Deux types de gestion de l'interruption mise en attente (alternance des tâches) réalisation de la touche courante, puis de la tâche interrompante Caractères interruptifs différents téléphone plus attractif que fax tâches de laboratoire tâches réelles interruptions dans les différents services réalisation des tâches ne sont jamais concurrentes, ni en conflit. les tâches sont toujours en séquence. touche dédiée : assez acrobatique saisie au clavier et une commande orale pour répondre au téléphone Deux stratégies différentes : mise en attente la tâche courante pour réaliser la tâche interrompante, ou ils finissent malgré tout la tâche courante pour gérer en séquence les tâches. Téléphone caractère interruptif très fort, quelque soit la tâche en cours sujet abandonne pratiquement systématiquement la tâche courante. La réception d'un fax, par contre, n'engendre pas de suspension de tâche. sujets pas en situation réelle. Leurs réalisations pas guidées par une gestion hiérarchique des tâches contrairement à une tâche réelle, et les sujets se laissent conduire par la structure de l'expérience. D'autre part tâches pas très complexes. Ces deux facteurs expliquent peut être que la diversité de réalisation des tâches soit faible. 17

14 Conclusion Réalisation des tâches
tâches multimodales : 29% ; tâches orales : 15% stabilité entre les sessions multimodalité et parole convenir à la complexité sémantique, et habitudes de communication Stratégie utilisateur comportement inter-sujet variable ; influence de l'âge dans l'utilisation de la parole Tâches multimodales utilisation spontanée des deux modalités alternance de modalité comme mode de récupération des erreurs réalisations séquentielles ou alternées Les tâches multimodales représentent 29% des réalisations, et les réalisations monomodales orales 15%. Ce pourcentage est stable entre les deux sessions. Il semble que l'utilisation de la multimodalité et de la parole soit influencé par la complexité sémantique de la tâche et de l'existence dans la vie quotidienne d'une tâche de même type. Les utilisateurs n'ont pas un comportement uniforme, mais il semble que moins ils sont jeunes et moins ils utilisent la nouvelle modalité mise à leur disposition. Concernant la réalisation multimodale des tâches : (a) La prise en compte du changement de modalité induit ou spontané permet de montrer que les sujets utilisent spontanément les deux modalités manuelle et orale. Cette distinction montre aussi que l'alternance d'une modalité à l'autre permet aux sujets de résoudre les échecs dans l'une ou l'autre d'elle. (b) Si l'on considère les réalisations multimodales sous l'angle des propriétés T-Ccare, les tâches sont réalisées de manière séquentielle, ou alternée, mais jamais de manière concurrente. 18

15 Résultats globaux Réalisation des énoncés
260 manuels 66 oraux 33 multimodaux multi 9% parol 18% man 73% Pourcentage des différents types d'énoncés énoncé manuel dominant 22% de baisse d'énoncés manuels pour la seconde session => augmentation efficacité par apprentissage 20

16 Facteurs Réalisation des énoncés
Modalité manuelle Modalité orale habitude grande nulle ou faible / IHM fiabilité connue (feed-back pas à pas) inconnue réactivité immédiate délai / interprétation irréversibilité de l'action aisée jusqu'au "OK" final non possible autres apprentissage voc, inhibition souris du fait qu'ils sont habitués à l'utiliser, modalité fiable, dont ils connaissent les réactions. Comportement d'essai erreur plus facile avec souris car réaction immédiate alors qu'avec la mod parole, au moins trois obstacles : nouvelle interface et nouvelle modalité (mémorisation voc, + maîtrise de l'utilisation de la touche dédiée), surmonter l'inhibition qu'il peut y avoir à parler devant une machine, et supporter un temps de réaction plus long pour toute commande orale ou multimodale. Cette application à un caractère d'irréversibilité fort, surtout en ce qui concerne la modalité orale. En effet il n'y a pas de demande de confirmation des énoncés oraux, à l'inverse d'une commande manuelle ou le sujet doit cliquer un bouton "OK" pour confirmer ses actions. D'autre part, la modalité manuelle offre au sujet la possibilité de vérifier le contenu des champs avant d'effectuer une action irréversible, alors que ce n'est pas le cas pour la modalité orale. Ce problème existe aussi en modalité manuelle, mais est moins précoce 21

17 Les échecs Réalisation des énoncés
59 échecs (16% des énoncés) Taux en manuel dû au comportement d'essai-erreur ? multim 10% manuel 75% parole 15% 60 multimod 50 échec : comportement n'aboutissant pas au résultat escompté à un moment donné, dans un contexte donné = erreurs liées à l'assignation + les impasses ou les reprises. (actions manuelles qui ne satisfont pas le but à atteindre… commandes incomplètes ou vocabulaire non autorisé. Contexte permet de dire si échec ou actions telles que annulation. 40 parole 30 20 pourcentage d'échec par modalité manuel 10 répertoire fax téléphone Proportion d'échecs par service 23

18 Les échecs Réalisation des énoncés
Pour le Répertoire discontinuité visuelle différence de logique entre téléphone, fax et répertoire difficulté de modification de fiche Pour le Fax pas de problème particulier avec modalité manuelle commandes incomplètes pour les énoncés oraux Pour le Téléphone désactiver visiophone = désactiver téléphone conversation alternée activation du service (pour les deux modalités) répertoire = trois problèmes en manuel : discontinuité visuelle entre répertoire et boutons de modification, suppression et ajout de fiche. rupture de logique entre l'activation des services de téléphonie et de fax, et le répertoire. Activation nécessaire en manuel pour téléphone et fax mais non pour répertoire. modification de la fiche d'un correspondant (cliquer nom + sur "éditer" --> pas intuitif. + "éditer" pas adéquat (imprimer). Pour oral : essais saisie (contrainte) ou commandes incomplètes. fax = pas de difficulté majeure en manuel, (nombre d'actions minimum plus élevé que pour les deux autres services : échecs plus nombreux. identification du service "fax" dans la palette d'outils ; recherche d'autres moyens de remplir les champs. modalité orale : commandes incomplètes (service non précisé) téléphone : manuel : quelques confusions entre bouton raccrocher, et bouton visiophonie (couper la visiophonie = raccrocher la ligne téléphonique), quelques problèmes pour la conversation alternée (fenêtres pas assez disctinctes + clic simple). modalité orale = donner une commande orale avec ligne ouverte (contrainte). Remarque = échecs sont principalement dus aux choix que nous avons faits pour la conception de cette maquette. Ils nous renseignent tout de même sur les attentes des sujets. 24

19 Les échecs Réalisation des énoncés
Echecs non directement imputables à l'interface : 5% des énoncés oraux échecs très influencés par contraintes imposées pour l'utilisation de la parole. On peut en tirer les conclusions suivantes quant aux options d'utilisation de la modalité orale : sujets ont spontanément envie d'utiliser la modalité orale, même lorsqu'ils sont en communication avec un interlocuteur (pour commander l'activation du visiophone, du miroir, pour raccrocher…). mais pas Pour décrocher la ligne téléphonique par contre la modalité orale est très peu utilisée (ainsi que pour la communication alternée). La saisie par la parole des champs des fiches du répertoire ou des champs du téléphone ne semble pas être une option à rejeter, quelques sujets essayant de le faire. touche dédiée pas dispositif adapté, pour un usage occasionnel tout au moins. erreurs fréquentes : sujets oubliant d'appuyer sur cette touche ou se trompent de touche. Le concept même de touche destinée à effectuer une commande est mal compris par quelques sujets, ceux-ci se servant de la touche dédiée comme d'un interphone (lorsqu'ils sont en conversation téléphonique), ou comme une fonctionnalité destinée à demander de l'aide aux compères pour la réalisation des tâches. 26

20 Propriétés Ccare Réalisation des énoncés
Conflit total / partiel Redondance toujours partielle porte majoritairement sur l'action (20.5/23) Deux types : activation redondance fortuite Complémentarité peu utilisée (8 énoncés) difficile à utiliser dans cette maquette compl 2% redond 16% conflit 6% parole 76% Pourcentage d'énoncés mono vs multimodaux Enoncés oraux et multimodaux trois types d'énoncés multimodaux : complémentaires (les informations portées par chaque modalité sont nécessaires pour comprendre l'énoncé), redondants (les informations portées par chaque modalité se recouvrent partiellement ou totalement) et conflictuels (les informations portées par chaque modalité désignent des objets et/ou des actions différents). parole seule largement majoritaire. même tendance que dans les interfaces de dessin [Mignot 95] (redondance supérieure à complémentarité, et parole supérieure à la multimodalité), bien qu'accentuée conflit est relativement présent : deux types de conflits total et partiel. total vient d'actions erronées. Dans ces situations la partie orale de l'énoncé permet pratiquement toujours de lever le conflit. partiel : début de réalisation avec une information non nécessaire dans l'autre modalité. Porte en général sur le service, celui-ci étant différent dans les deux parties de l'énoncé, l'énoncé oral suffit presque toujours à lever le conflit. 27

21 Autres caractéristiques Réalisation des énoncés
Geste précède toujours parole longueur moyenne énoncés oraux : 4.8 mots énoncés multim : Utilisation d’anaphore : 11% Phrases essentiellement à l'infinitif (83.8%), utilisation des mots de liaison (98.2%) Pauses et hésitations assez peu nombreuses (18.9%) 29

22 Conclusion Réalisation des énoncés
Enoncés à composante orale (27%) souris = dispositif connu, pas de nouvel apprentissage énoncés oraux 2x plus nombreux que multimodaux, peut être à cause de la simplicité sémantique Echecs : dus pour l'essentiel à la stratégie essai-erreur utilisée par les sujets et aux contraintes sur l'utilisation de la parole (limitation du vocabulaire) Enoncés multimodaux “fortuits” Utilisation de phrases impersonnelles. Les énoncés multimodaux représentent 9% des réalisations, et les énoncés monomodaux oraux 18%. Il n'y a pas d'évolution entre les deux sessions sujets semblent préférer l'usage de la souris peut être car : modalité sûre, + usage modalité orale ou de la multimodalité nécessite un nouvel apprentissage (du vocabulaire, de la touche dédiée), + temps de réponse plus longs que la souris, + dépasser une certaine inhibition à parler devant une machine. énoncés oraux deux fois plus nombreux que les énoncés multimodaux, peut être à cause de la simplicité sémantique des énoncés, qui n'incitent pas l'utilisation d'énoncés multimodaux. Les échecs assez nombreux (16% des énoncés), et 75% d'entre eux sont liés à la modalité manuelle, car moins coûteuses que dans la modalité orale, et que les sujets hésitent moins avant d'agir. En ce qui concerne la réalisation des énoncés multimodaux, peu sont intentionnels, et qu'ils proviennent pour la plupart des essais-erreurs des sujets. Les sujets font en majorité des phrases (87.3%), et les énoncés se résumant à un mot ou à un ensemble de mots clefs sont assez peu nombreux. Les sujets utilisent très peu la première personne, et utilisent des phrases impersonnelles à l'infinitif ou l'impératif. 30

23 Conclusion Bilan scientifique
Résultats fondamentaux sur l’usage de la multimodalité dans une tâche réelle Evaluation ergonomique de l’interface Plate-forme et méthodologie réutilisables Bilan organisationnel Déroulement du travail en concertation étroite avec le CCETT (M. Naël, N. Portolan) Difficulté de mise en place du contrat et délais importants de démarrage 31