Interactions multimodales

Présentation au sujet: "Interactions multimodales"— Transcription de la présentation:

1 Interactions multimodales
Interface Homme-Machine Interactions multimodales Linda KHALIL – M2EID Professeur: Catherine Recannati

2 Introduction I-Concepts de multimodalité II-Architecture
1. Mode 2. Modalité 3. Taxonomie des modalités II-Architecture 1. Modèles et contrôleurs 2. Modèle de la tâche III-Exemples d’interfaces multimodales 1. Exemple divers 2. Tableau numérique 3. Télétact

3 Concepts de multimodalité
1. Mode 2. Modalité 3. Taxonomie des modalités

4 Concepts de multimodalité
1. Mode Communication entre deux entités Hommes Animaux Machines Êtres vivant Mode de communication Organes utilisés par chaque entité Mode d’entrée/Mode de sortie

5 Modes de communication
Modes d’entrée chez l’Homme Organes Modes correspondants Yeux Visuel Oreille Auditif Nez Olfactif Langue Gustatif Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires Tactilo-proprio-kinesthésique (TPK)

6 Modes de communication
Modes de sortie chez l’Homme Système vocale: poumons, cordes vocales, langue, lèvres … Système musculaire: mains bras, tête, visage… Organes Modes correspondants Système vocale Orale Système musculaire Actionnel ou gestuel

7 Modes de communication
Modes non humain Végétal Animal liste non-exhaustive Machine Machine: liste en évolution }

8 Modes de communication
Communication Homme/Homme: relations Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK Oral Non Oui Gestuel

9 Modes de communication
Communication Homme-machine: relations Caméra: gestes du corps Oculomètre: gestes de l’œil Joystick, souris,…: gestes de la main Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre Système de reconnaissance vocale Oral Non Oui Gestuel

10 Modes de communication
Communication machine-Homme: relations Visuel Auditif Olfactif Gustatif TPK Ecrans 2D et 3D Oui Non Afficheur Braille Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...) Systèmes avec retour tactile et/ou retour d'effort

11 Modalités Positionnement côté humain
Structure des informations échangée Perception par le sujet Machine: perçue comme un être humain

12 Taxonomie des modalités
Différentes formes de présentation État de l’utilisateur État de l’environnement

13 Taxonomie des modalités
Selon Bernsen : Modalités de sortie par rapport à la machine Modalités pures Profil de la modalité Le média d’expression Modalités particulières Héritent des modalités pures Caractéristiques plus spécialisée

14 Concepts de multimodalité
3. Taxonomie des modalités Critères de modalité Description Langagière / Non langagière préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques Analogique / Non analogique Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée. Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné. Statique / Dynamique influence du temps sur la structure des informations. Média d’expression graphique, sonore ou tactile

15 Concepts de multimodalité
3. Taxonomie des modalités Média: Pas au même niveau que les autre critères Graphique Mode visuel Mode tactile Critères incompatibles Arbitraire vs analogique

16 Taxonomie des modalités
Nouvelle approche : Multidimensionnel Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie Visuel Oui Non Auditif Oral Gestuel TPK

17 Taxonomie des modalités
Temporel Visuel et TPK: animations Clignotements Rotations Déplacements Changement de couleurs … Gestuel Gestes statiques Gestes dynamiques: déplacements pris en compte

18 Taxonomie des modalités
Spatial Visuel: type de projection Auditif: son mono, stéréo ou 3D Gestuel: 1D, 2D ou 3D Critère langagier Tout mode Critère à valeurs continues

19 Taxonomie des modalités
Analogie Visuel: ressemblance représentation/représenté Distinction photo/peinture/graphique… Auditif: distinction des sons Prosodie Auditif et Oral Distinction chant / parole

20 Architecture 1. Modèles 2. Contrôleurs

21 Architecture Utilisateur Application Contrôleur de l’interaction
Contrôleur de dialogue Contrôleur du flot Application Modèle de l’Interaction Modèle de l’environnement Modèle de l’utilisateur Modèle de la tâche Modèle du dialogue

22 Modèles Modèle du dialogue Modèle de la tâche Structure hiérarchique
Enchaînement de situation Modèle de la tâche Description sémantique Relations conceptuelles entre les objets Représentation de buts et sous-buts

23 Modèles Modèle de l’utilisateur Connaissances de niveau linguistique
Modélisation du savoir Modélisation du niveau d’expertise Interprétation des gestes, mimiques Interface en fonction des préférence, caractéristiques, aptitude de l’utilisateur Gestion dynamique de l’interaction

24 Modèles Modèle de l’environnement Modèle de l’interaction
Information sur le contexte Choix des médias à utiliser Règles d’exploitation des connaissances Capteurs de contexte: mises à jour Modèle de l’interaction Spécificité de l’interaction multimodale Description des médias Historique d’interaction

25 Contrôleurs Contrôleur de dialogue Contrôleur d’interaction
Contenu sémantique des échanges Contrôleur d’interaction Formes de présentation des messages Transmission de la sémantique des entrées au contrôleur de dialogue Choix de la présentation en fonction des autres modèles

26 Interfaces multimodales
1. Exemple divers 2. Tableau numérique 3. Télétact

27 Interfaces multimodales
Wiimote Modalité: le geste Mouvements de la main Pression sur bouttons Sortie Vibrations Affichage

28 Interfaces multimodales
Bornes d’achats tactiles Entrée: Gestes de la main Billeterie Passage de commande dans les Fast Food Sortie: information envoyé à la cuisine

29 Interfaces multimodales

30 Interfaces multimodales
Iphone, Ipad … Système de reconnaissance vocal Voice Painter Tableau numérique

31 Tom Pouce

32 Tom Pouce

33 Tom Pouce

34 Tom Pouce

35 Télétact Profilomètre laser Mesure sur 15 mères de rayon Oreillette
32 notes musicales: intervalles de distances 2 types de vibrations sur 2 doigts 4 intervalles de distances Détection jusqu’à 12 mètres.

36 Conclusion Nombreuses interfaces Différentes structures
Différents objectif Architecture d’interaction commune