Interactions multimodales Interface Homme-Machine Interactions multimodales Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Introduction I-Concepts de multimodalité II-Architecture 1. Mode 2. Modalité 3. Taxonomie des modalités II-Architecture 1. Modèles et contrôleurs 2. Modèle de la tâche III-Exemples d’interfaces multimodales 1. Exemple divers 2. Tableau numérique 3. Télétact

Concepts de multimodalité 1. Mode 2. Modalité 3. Taxonomie des modalités

Concepts de multimodalité 1. Mode Communication entre deux entités Hommes Animaux Machines Êtres vivant Mode de communication Organes utilisés par chaque entité Mode d’entrée/Mode de sortie

Modes de communication Modes d’entrée chez l’Homme Organes Modes correspondants Yeux Visuel Oreille Auditif Nez Olfactif Langue Gustatif Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires Tactilo-proprio-kinesthésique (TPK)

Modes de communication Modes de sortie chez l’Homme Système vocale: poumons, cordes vocales, langue, lèvres … Système musculaire: mains bras, tête, visage… Organes Modes correspondants Système vocale Orale Système musculaire Actionnel ou gestuel

Modes de communication Modes non humain Végétal Animal liste non-exhaustive Machine Machine: liste en évolution }

Modes de communication Communication Homme/Homme: relations Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK Oral Non Oui Gestuel

Modes de communication Communication Homme-machine: relations Caméra: gestes du corps Oculomètre: gestes de l’œil Joystick, souris,…: gestes de la main Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre Système de reconnaissance vocale Oral Non Oui Gestuel

Modes de communication Communication machine-Homme: relations Visuel Auditif Olfactif Gustatif TPK Ecrans 2D et 3D Oui Non Afficheur Braille Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...) Systèmes avec retour tactile et/ou retour d'effort

Modalités Positionnement côté humain Structure des informations échangée Perception par le sujet Machine: perçue comme un être humain

Taxonomie des modalités Différentes formes de présentation État de l’utilisateur État de l’environnement

Taxonomie des modalités Selon Bernsen : Modalités de sortie par rapport à la machine Modalités pures Profil de la modalité Le média d’expression Modalités particulières Héritent des modalités pures Caractéristiques plus spécialisée

Concepts de multimodalité 3. Taxonomie des modalités Critères de modalité Description Langagière / Non langagière préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques Analogique / Non analogique Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée. Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné. Statique / Dynamique influence du temps sur la structure des informations. Média d’expression graphique, sonore ou tactile

Concepts de multimodalité 3. Taxonomie des modalités Média: Pas au même niveau que les autre critères Graphique Mode visuel Mode tactile Critères incompatibles Arbitraire vs analogique

Taxonomie des modalités Nouvelle approche : Multidimensionnel Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie Visuel Oui Non Auditif Oral Gestuel TPK

Taxonomie des modalités Temporel Visuel et TPK: animations Clignotements Rotations Déplacements Changement de couleurs … Gestuel Gestes statiques Gestes dynamiques: déplacements pris en compte

Taxonomie des modalités Spatial Visuel: type de projection Auditif: son mono, stéréo ou 3D Gestuel: 1D, 2D ou 3D Critère langagier Tout mode Critère à valeurs continues

Taxonomie des modalités Analogie Visuel: ressemblance représentation/représenté Distinction photo/peinture/graphique… Auditif: distinction des sons Prosodie Auditif et Oral Distinction chant / parole

Architecture 1. Modèles 2. Contrôleurs

Architecture Utilisateur Application Contrôleur de l’interaction Contrôleur de dialogue Contrôleur du flot Application Modèle de l’Interaction Modèle de l’environnement Modèle de l’utilisateur Modèle de la tâche Modèle du dialogue

Modèles Modèle du dialogue Modèle de la tâche Structure hiérarchique Enchaînement de situation Modèle de la tâche Description sémantique Relations conceptuelles entre les objets Représentation de buts et sous-buts

Modèles Modèle de l’utilisateur Connaissances de niveau linguistique Modélisation du savoir Modélisation du niveau d’expertise Interprétation des gestes, mimiques Interface en fonction des préférence, caractéristiques, aptitude de l’utilisateur Gestion dynamique de l’interaction

Modèles Modèle de l’environnement Modèle de l’interaction Information sur le contexte Choix des médias à utiliser Règles d’exploitation des connaissances Capteurs de contexte: mises à jour Modèle de l’interaction Spécificité de l’interaction multimodale Description des médias Historique d’interaction

Contrôleurs Contrôleur de dialogue Contrôleur d’interaction Contenu sémantique des échanges Contrôleur d’interaction Formes de présentation des messages Transmission de la sémantique des entrées au contrôleur de dialogue Choix de la présentation en fonction des autres modèles

Interfaces multimodales 1. Exemple divers 2. Tableau numérique 3. Télétact

Interfaces multimodales Wiimote Modalité: le geste Mouvements de la main Pression sur bouttons Sortie Vibrations Affichage

Interfaces multimodales Bornes d’achats tactiles Entrée: Gestes de la main Billeterie Passage de commande dans les Fast Food Sortie: information envoyé à la cuisine

Interfaces multimodales

Interfaces multimodales Iphone, Ipad … Système de reconnaissance vocal Voice Painter Tableau numérique

Tom Pouce

Tom Pouce

Tom Pouce

Tom Pouce

Télétact Profilomètre laser Mesure sur 15 mères de rayon Oreillette 32 notes musicales: intervalles de distances 2 types de vibrations sur 2 doigts 4 intervalles de distances Détection jusqu’à 12 mètres.

Conclusion Nombreuses interfaces Différentes structures Différents objectif Architecture d’interaction commune