LOGO Présenté par : Hafid OUTAZAKRIT Interaction Multimodale 2015/2016 Professeur : Catherine Recannati

Plan Taxinomie des modalités Exemples de systèmes multimodaux 2 Types de Multi-modalité Les concepts de Multi-modalité Introduction Conclusion Architecture du système Multi-modalité!?

Introduction Interaction Multimodale 3 La multi-modalité  La multi-modalité est un domaine vaste qui a déjà fait l'objets de nombreuses études.  Du point de vue utilisateur de multiples questions se posent sur l'utilisation des interfaces multimodales.  Le concept de langage d'interaction est plus discuté car il implique la reconnaissance des capacités d'un système informatique à communiquer avec un être humain.  Cette communication est parfois basée sur un langage presque naturel mais elle repose la plupart du temps sur des langages plus simples et plus efficaces tels que les langages graphiques ou les langages de commande

4 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  Communication entre deux entités  Hommes  Animaux  Machines  Mode de communication  Organes utilisés par chaque entité  Percevoir ou produire des informations  Mode d’entrée/Mode de sortie

5 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  Modes d’entrée chez l’Homme OrganesModes correspondants YeuxVisuel OreilleAuditif NezOlfactif LangueGustatif Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires Tactilo-proprio-kinesthésique (TPK)

6 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  Modes de sortie chez l’Homme  Système vocale: poumons, cordes vocales, langue, lèvres …  Système musculaire: mains bras, tête, visage… OrganesModes correspondants Système vocaleOrale Système musculaireActionnel ou gestuel

7 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité VisuelAuditifOlfactifGustatifTPK Oral NonOuiNon GestuelOuiNon Oui  Modes non humain  Végétal  Animal  Machine  Communication Homme vers Homme

8 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité Clavier, Souris, Trackball, Joystick, Stylo, écran tactile, Gant numérique, Caméra, Oculomètre Système de reconnaissance vocale OralNonOui GestuelOuiNon  Communication Homme vers Machine

9 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  Communication Machine vers Homme VisuelAuditifOlfactifGustatifTPK Ecrans 2D et 3DOuiNon Afficheur BrailleOuiNon Oui Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...) NonOuiNon Systèmes avec retour tactile et/ou retour d'effort Non Oui

10 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  La modalité est définie par la structure d’informations échangées telle qu'elle est perçue par l'être humain.  Modalité d’interaction [Serrano2010]  Médiateur matériel et logiciel entre l’utilisateur et le système  Définie par le couple Dispositif physique : dispositif d’entrée / sortie Langage d’interaction : système conventionnel structuré de signes qui assure une fonction de communication.  Exemples  Microphone –Langage pseudo-naturel –Intensité du son  Caméra –Reconnaissance des doigts –Gestes bi-manuels

11 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité  Média désigne les supports ou les véhicules de l'information  microphone, écran, clavier, souris, caméra, etc.  un système informatique multimédia  système capable d’acquérir et/ou de restituer, par l’intermédiaire des médias, des informations de natures et/ou de formes différentes: parole, musique, image vidéo, etc.

12 Mode Modalité MultiMediaMulti-modalité Les concepts de Multi-modalité la multi-modalité reflète le caractère de multiplicité (préfixe multi) des modalités pour un même système interactif.  Le nombre de modalités de même sens (entrée ou sortie) permet de faire la distinction entre la multiplicité de l’unicité.  Un système est multimodal s’il dispose d’au moins deux modalités pour un sens donné (entrée ou sortie).  Le système peut être qualifié de multimodal en entrée si au moins deux modalités d’entrée sont disponibles et de multimodal en sortie si au moins deux modalités de sortie existent.

13 En entréeEn sortie Taxinomie des modalités  Différents espaces taxinomiques pour les interfaces ont été définis.  Cette multiplicité des espaces est en partie due à la distinction qui peut être faite entre l’interface d’entrée et l’interface de sortie.  L’interface d’entrée est constituée des moyens communicationnels mis à disposition de l’utilisateur pour modifier l’état du système.  L’interface de sortie correspond aux moyens communicationnels exploités par le système pour présenter son état à l’utilisateur.

14 En entréeEn sortie Taxinomie des modalités Selon Buxton 1983 Cet espace caractérise les dispositifs d’entrée selon trois axes. Dans cette taxinomie, le dispositif est vu comme un transducteur.  Le premier axe rassemble les propriétés que le dispositif est capable de capter comme la position, la pression et le mouvement.  Le second axe définit le nombre de dimensions captées pour chaque propriété.  Le troisième axe distingue le type direct ou indirect de la capture.  Exemple : un écran tactile

15 En entréeEn sortie Taxinomie des modalités  La taxonomie de Bernsen traite des interfaces de sortie en présentant un espace permettant de classer ce qu’il appelle les « modalités représentationnelles » comme un texte, un graphe ou une icône. la taxonomie de Bernsen [Bernsen 93]

16 ParamètresLes types de Multi-modalité Types de Multi-modalité  Production des énoncés (Parallèle/Séquentiel)  Si les énoncés (en entrée ou en sortie) doivent être produits séquentiellement.  Si plusieurs énoncés indépendants soient produits en parallèle.  Nombre de médias dans un énoncé (Un/Plusieurs)  Lors de la production d'un énoncé, il faut utiliser un seul média, ou s'il est possible d'en utiliser plusieurs.  Dans ce dernier cas, en entrée, il est nécessaire de procéder à la fusion des différentes informations provenant des différents médias.  Usage des médias (Exclusif/Simultané)  Si l'usage des médias doit être exclusif, c'est à dire qu'à un instant donné un seul média peut être utilisé.  S’il est possible d'en utiliser plusieurs simultanément.

17 ParamètresLes types de Multi-modalité Types de Multi-modalité  On ne peut avoir d'usage simultané des médias, si la production des énoncés doit être séquentielle avec l'utilisation d'un seul média par énoncé. Sommet 0 : COMBINAISON IMPOSSIBLE

18 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 1 : MULTIMODALITE EXCLUSIVE :  La production des énoncés doit être séquentielle, et un énoncé doit être exprimé entièrement à travers un seul média.

19 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 2 : MULTIMODALITE ALTERNEE  La production des énoncés doit être séquentielle, avec la possibilité d'utiliser plusieurs médias alternativement dans un énoncé.

20 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 3 : MULTIMODALITE SYNERGIQUE  Comme pour le type précédent, il est possible d'utiliser plusieurs médias dans un énoncé, mais cette fois il peuvent être utilisés simultanément.

21 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 4 : MULTIMODALITE PARALLELE EXCLUSIVE  Plusieurs énoncés indépendants peuvent être produits en parallèle. Cependant, un énoncé doit être exprimé entièrement à travers un même média, et à un instant donné, un seul média peut être actif.

22 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 5 : MULTIMODALITE PARALLELE SIMULTANEE  La différence avec le type précédent réside dans l'usage simultané des médias

23 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 6 : MULTIMODALITE PARALLELE ALTERNEE  Plusieurs énoncés peuvent être produits en parallèle, il est possible d'utiliser plusieurs médias dans un même énoncé. Cependant, à un instant donné, un seul média peut être utilisé

24 ParamètresLes types de Multi-modalité Types de Multi-modalité Sommet 7 : MULTIMODALITE PARALLELE  C'est le type de multi-modalité le plus complexe. Plusieurs énoncés peuvent être produits en parallèle et plusieurs médias peuvent être utilisés dans un même énoncé simultanément.

25 ModèleContrôleur Architecture de système

26 ModèleContrôleur Architecture de système  Le modèle du dialogue  une structure hiérarchique: les enchaînements possibles entre différentes situations, différentes stratégies (directif, coopératif, négocié, etc.) [Caelen 94].  Le modèle de la tâche  une description sémantique des objets qui seront manipulés pendant l'interaction, prenant en compte les relations conceptuelles entre ceux-ci.  Le modèle inclut une représentation des buts et sous-buts poursuivis durant le dialogue.  Le modèle de l'utilisateur  Des connaissances de niveau linguistique.  L'accent de l'utilisateur, ses variantes phonologiques, les formes lexicales et syntaxiques qu'il utilise, les mimiques et gestes qui lui sont propres servent à l'interprétation.  Ses préférences, aptitudes ou handicaps éventuels permettent également une personnalisation de l'interface.

27 ModèleContrôleur Architecture de système  Le modèle de l'environnement  Il contient des informations sur le contexte, influant sur le choix des différents médias, ainsi que les règles d'exploitation de ces connaissances.  Le niveau de bruit et les fréquences de vibration.  Les paramètres de ce modèle sont constamment remis à jour par l'intermédiaire de capteurs de contexte.  Le modèle de l'interaction  Constitue une spécificité de l'interaction multimodale.  Les descriptions de chaque média (reconnaissance vocale, synthèse vocale, gant numérique, oculomètre, écran, etc.) en termes de capacités, conditions d'utilisation et contraintes de combinaison.  Le problème des temps de réaction différents nécessite notamment un historique relatif à chaque média, afin de rendre possible l'interprétation d'entrées simultanées ainsi que la gestion de sorties multiples.

28 ModèleContrôleur Architecture de système  Contrôleur de dialogue  chargé du contenu sémantique des échanges  Contrôleur d'interaction  des formes de présentations des messages.  Extraction la sémantique des entrées qu'il transmet au contrôleur de dialogue dans un langage unifié, lequel interprète, construit et renvoie une réponse éventuelle sous une même forme.  la présentation la plus adéquate, en fonction de l'état de chaque modèle et suivant des règles de priorité [André et al. 93].  Il est envisagé un cas particulier de fonctions réflexes pour lesquelles le contrôleur d'interaction peut déclencher directement une réponse stéréotypée en fonction d'un stimulus donné.

29 Multi-modalité : Les questions à se poser Multi-modalité!?  Quel type ?  Quand ?  Où ?  Quels critères?

30 Types de coopération Multi-modalité!?  Complémentarité :usage conjoint de plusieurs modalités pour faire sens  Assignation : absences de choix  Redondance : usage simultané de plusieurs modalités équivalentes pour atteindre un but donné.  Equivalence : pour un but donné si l’usage de l’une des modalités permet d’atteindre ce but.

31 Types de coopération Multi-modalité!? Avantages  Complémentarité  usage des déictiques (par exemple, les démonstratifs dans: «Mets çà ici», «le verre là».  Assignation :  rapidité,  Efficacité  Redondance :  accroissement de la robustesse,  apprentissage de l’usage d’une autre modalité.  Equivalence  souplesse dans les choix d’expression

32 Fusion Multi-modalité!? Quand ? La fusion des données [Nigay 93]  La fusion lexicale : réalisée dans le composant de bas niveau, traduit une synchronisation entre des informations de bas niveau  La fusion syntaxique consiste à combiner des informations pour obtenir une commande complète.  La fusion sémantique combine des commandes pour aboutir à une nouvelle commande

33 Fusion Multi-modalité!?

34 Critères d’intégration Multi-modalité!?  Critère de proximité temporelle  Critère de complémentarité sémantique  Critère de complémentarité par attribut  Critère d’incompatibilité des modalités  Critère d’ordonnancement des références  Critère de complétude des événements utilisateur

35 Exemples Systèmes Multimodaux  Télétact  Aide au déplacement des non-voyants Idée: Transformer les distances en sons ou en vibrations Etape 1: Obtenir l’information L’appareil émet un rayon laser (inoffensif). A la rencontre d’un obstacle ce rayon crée un point rouge. L’analyse géométrique de la position de ce point rouge par l’appareil fournit la distance. Etape 2: Présenter l’information La distance ainsi calculée est alors transformée en note musicale ou en vibration tactile.  Voice Painter (vidéo)  Téléprésence (vidéo)

36  Un rôle important dans les nouvelles applications  L’utilisateur et le système ont la possibilité de combiner plusieurs modalités en fonction de la tâche, des préférences ou des intentions communicationnelles..  Les capacités intellectuelles, cognitives et motrices lors de l’interaction avec des systèmes multimodaux.  Variation des préférences et choix d’utilisation des modes de communication de manière significative entre les individus 36 Conclusion

37 Merci pour votre attention

LOGO Présenté par : Hafid OUTAZAKRIT Interaction Multimodale 2015/2016 Professeur : Catherine Recannati