La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011.

Présentations similaires


Présentation au sujet: "Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011."— Transcription de la présentation:

1 Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati

2 Introduction I-Concepts de multimodalité 1. Mode 2. Modalité 3. Taxonomie des modalités II-Architecture 1. Modèles et contrôleurs 2. Modèle de la tâche III-Exemples dinterfaces multimodales 1. Exemple divers 2. Tableau numérique 3. Télétact

3 Concepts de multimodalité 1. Mode 2. Modalité 3. Taxonomie des modalités

4 Concepts de multimodalité 1. Mode Communication entre deux entités Hommes Animaux Machines Êtres vivant Mode de communication Organes utilisés par chaque entité Mode dentrée/Mode de sortie

5 Modes de communication Modes dentrée chez lHomme OrganesModes correspondants YeuxVisuel OreilleAuditif NezOlfactif LangueGustatif Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires Tactilo-proprio-kinesthésique (TPK)

6 Modes de sortie chez lHomme Système vocale: poumons, cordes vocales, langue, lèvres … Système musculaire: mains bras, tête, visage… OrganesModes correspondants Système vocaleOrale Système musculaireActionnel ou gestuel Modes de communication

7 Modes non humain Végétal Animal liste non-exhaustive Machine Machine: liste en évolution }

8 Modes de communication Communication Homme/Homme: relations Sortie \ Entrée VisuelAuditifOlfactifGustatifTPK OralNonOuiNon GestuelOuiNon Oui

9 Modes de communication Communication Homme-machine: relations Caméra: gestes du corps Oculomètre: gestes de lœil Joystick, souris,…: gestes de la main Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre Système de reconnaissance vocale OralNonOui GestuelOuiNon

10 Modes de communication Communication machine-Homme: relations VisuelAuditifOlfactifGustatifTPK Ecrans 2D et 3DOuiNon Afficheur BrailleOuiNon Oui Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...) NonOuiNon Systèmes avec retour tactile et/ou retour d'effort Non Oui

11 Modalités Positionnement côté humain Structure des informations échangée Perception par le sujet Machine: perçue comme un être humain

12 Taxonomie des modalités Différentes formes de présentation État de lutilisateur État de lenvironnement

13 Taxonomie des modalités Selon Bernsen : Modalités de sortie par rapport à la machine Modalités pures Profil de la modalité Le média dexpression Modalités particulières Héritent des modalités pures Caractéristiques plus spécialisée

14 Concepts de multimodalité 3. Taxonomie des modalités Critères de modalité Description Langagière / Non langagière préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques Analogique / Non analogique Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée. Arbitraire /Non arbitraireNon arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné. Statique / Dynamiqueinfluence du temps sur la structure des informations. Média dexpressiongraphique, sonore ou tactile

15 Concepts de multimodalité 3. Taxonomie des modalités Média: Pas au même niveau que les autre critères Graphique Mode visuel Mode tactile Critères incompatibles Arbitraire vs analogique

16 Taxonomie des modalités Nouvelle approche : Multidimensionnel Mode \ Critère TemporelSpatialLangagierDanalogieDe prosodie VisuelOui Non AuditifNonOui OralNon OuiNonOui GestuelOui Non TPKOuiNonOui Non

17 Taxonomie des modalités Temporel Visuel et TPK: animations Clignotements Rotations Déplacements Changement de couleurs … Gestuel Gestes statiques Gestes dynamiques: déplacements pris en compte

18 Taxonomie des modalités Spatial Visuel: type de projection Auditif: son mono, stéréo ou 3D Gestuel: 1D, 2D ou 3D Critère langagier Tout mode Critère à valeurs continues

19 Taxonomie des modalités Analogie Visuel: ressemblance représentation/représenté Distinction photo/peinture/graphique… Auditif: distinction des sons Prosodie Auditif et Oral Distinction chant / parole

20 Architecture 1. Modèles 2. Contrôleurs

21 Architecture UtilisateurApplication Contrôleur de linteraction Contrôleur de dialogue Contrôleur du flot Application Modèle de lInteraction Modèle du dialogue Modèle de la tâche Modèle de lenvironnement Modèle de lutilisateur

22 Modèles Modèle du dialogue Structure hiérarchique Enchaînement de situation Modèle de la tâche Description sémantique Relations conceptuelles entre les objets Représentation de buts et sous-buts

23 Modèles Modèle de lutilisateur Connaissances de niveau linguistique Modélisation du savoir Modélisation du niveau dexpertise Interprétation des gestes, mimiques Interface en fonction des préférence, caractéristiques, aptitude de lutilisateur Gestion dynamique de linteraction

24 Modèles Modèle de lenvironnement Information sur le contexte Choix des médias à utiliser Règles dexploitation des connaissances Capteurs de contexte: mises à jour Modèle de linteraction Spécificité de linteraction multimodale Description des médias Historique dinteraction

25 Contrôleurs Contrôleur de dialogue Contenu sémantique des échanges Contrôleur dinteraction Formes de présentation des messages Transmission de la sémantique des entrées au contrôleur de dialogue Choix de la présentation en fonction des autres modèles

26 Interfaces multimodales 1. Exemple divers 2. Tableau numérique 3. Télétact

27 Interfaces multimodales Wiimote Modalité: le geste Mouvements de la main Pression sur bouttons Sortie Vibrations Affichage

28 Interfaces multimodales Bornes dachats tactiles Entrée: Gestes de la main Billeterie Passage de commande dans les Fast Food Sortie: information envoyé à la cuisine

29 Interfaces multimodales

30 Iphone, Ipad … Système de reconnaissance vocal Voice Painter Tableau numérique

31 Tom Pouce

32

33

34

35 Télétact Profilomètre laser Mesure sur 15 mères de rayon Oreillette 32 notes musicales: intervalles de distances 2 types de vibrations sur 2 doigts 4 intervalles de distances Détection jusquà 12 mètres.

36 Conclusion Nombreuses interfaces Différentes structures Différents objectif Architecture dinteraction commune


Télécharger ppt "Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011."

Présentations similaires


Annonces Google