Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY
Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement Journée des thèses - CLIPS - 29 janvier 2004
Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement
Monde physique, monde numérique Monde réel Monde non-tangible Monde numérique Monde virtuel Deux approches pour relier les deux mondes : Interaction Homme-Machine : Enrichissement du monde réel avec de l’informatique Graphisme assisté par ordinateur : Enrichissement de scènes virtuelles avec des images du monde réel
Monde physique, monde numérique Deux approches pour relier les deux mondes … avec un objectif commun Monde non-tangible Monde numérique Monde virtuel Monde physique Monde réel
Monde physique, monde numérique : Objet de la tâche et Interaction Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques
Monde physique, monde numérique : Objet de la tâche et Interaction Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques Pixels miroir [Vernier 99]
Monde physique, monde numérique : Objet de la tâche et Interaction Chirurgie guidée par l’image [Grimson 96] Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques
Mon domaine : Virtualité Augmentée Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Interaction Entités numériques Entités physiques Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques
Mon domaine : Virtualité Augmentée et son en sortie Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Interaction Entités numériques Entités physiques Monde physique Interaction physique Réalité augmentée Interaction sources sonores Avec objets physiques Avec objets numériques
Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles)
Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel situations mobiles interfaces pour aveugles retour d’informations dans les interfaces graphiques
Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse informations sonores simultanées : « effet cocktail » alertes données multidimensionnelles motifs temporels
Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse Media d’ambiance : en arrière-plan sons en arrière-plan entendus uniquement lorsque l’utilisateur choisit de s’y concentrer lorsqu’un changement soudain intervient dans le son suivi des sons d’arrière-plan + activité principale indépendante
Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse Media d’ambiance : en arrière-plan Sentiment d’immersion ex : réalité virtuelle
Plan de l’exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement 7-8 minutes Journée des thèses - CLIPS - 29 janvier 2004
Phicons + Earcons = Phearcons Phearcons = association d’objets physiques (phicons, physical icons [Ishii]) avec des sources sonores spatialisées (earcons [Blattner]) Radio Niveau sonore chez Maman Niveau sonore cafet Queue d’impression
Exemples d’application Suivi d’informations en arrière-plan média d’ambiance effet cocktail passage du premier plan à l’arrière-plan en approchant ou en éloignant l’objet physique correspondant
Exemples d’application Suivi d’informations en arrière-plan Composition Assistée par Ordinateur manipulation directe de sources sonores
Exemples d’application Suivi d’informations en arrière-plan Composition Assistée par Ordinateur Audioconférence intervenants représentés par leurs photos possibilité d’ « éteindre » momentanément un locuteur passage d’un groupe de discussion à un autre
Objectifs Caractériser et évaluer : l’interaction avec les Phearcons la spécification des Phearcons par l’utilisateur
Objectifs Caractériser et évaluer : l’interaction avec les Phearcons la spécification des Phearcons par l’utilisateur Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et matérielle de spécification et d’exécution des Phearcons
Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."
Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."
Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Suivi d’informations sonores en arrière-plan [Conversy] : sources sonores écologiques AROMA [Pedersen] : conscience de groupe [Malandrino] : état du réseau
Classification des Phearcons Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques
Classification des Phearcons Objet de la tâche Lien entre le monde physique et le monde numérique Monde numérique Dynamique Monde physique Statique Interaction Avec objets physiques Avec objets numériques
Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement 15 Journée des thèses - CLIPS - 29 janvier 2004
Démarche de travail Phearcons Interaction Spécification Justification théorique : propriétés ergonomiques Justification expérimentale : magicien d’oz Processus de sonification Règles de conception pour l’interaction Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations
Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions : interaction avec les phearcons : justification théorique et expérimentale spécification des phearcons : processus de sonification plate-forme de définition et d’exécution des phearcons Etat d’avancement
Interaction avec les Phearcons : justification théorique et expérimentale Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations
Propriétés ergonomiques [Scapin 86] Adaptabilité L’utilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées. Il positionne les objets selon son but et sa tâche courants.
Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité L’utilisateur s’entoure d’un environnement familier.
Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores L’utilisateur manipule directement les sources sonores. ex : déplacer-déposer une source sonore
Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores L ’utilisateur manipule plusieurs sources simultanément Il suit plusieurs sources d ’informations simultanément
Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Observabilité des sources sonores par leur meilleure discrimination effet cocktail spatialisation association objet-son -> meilleure mémorisation de la nature et de l’emplacement des sources sonores
Expérimentations Magicien d’Oz : motivation Validation d’hypothèses théoriques utilisabilité satisfaction des utilisateurs ? association naturelle entre objet et son ? simplicité d’utilisation ? discrimination des sources sonores ? utilité efficacité pour le suivi de sources sonores en arrière-plan ?
Expérimentations Magicien d’Oz : motivation Validation d’hypothèses théoriques Règles de conception pour une plate-forme nature du lien entre objets et sources d’informations actions possibles et souhaitables caractéristiques souhaitées des sources sonores
Expérimentations Magicien d’Oz : protocole expérimental 11 sujets non experts et non informaticiens âgés de 26 ans en moyenne recrutés par bouche à oreille
Expérimentations Magicien d’Oz : protocole expérimental Son + image Complice Son spatialisé 5.1 Sujet Magicien Contrôle des sources sonores
Expérimentations Magicien d’Oz : sources sonores présentées aux sujets Pression artérielle (alerte) Respiration (continu) Radio (continu) Rôle d’infirmier Bébé à la maison (continu) Météo (toutes les 5 minutes)
Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son effectué parmi un ensemble d’objets
Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées : voix, gestes, manipulations de l’objet, combinaison de modalités
Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées commandes pour chaque source sonore : arrêter / jouer le son augmenter / diminuer le volume faire venir le son de partout / de la direction de la source
Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées commandes pour chaque source sonore commandes pour toutes les sources sonores à la fois : arrêter / jouer les sons
Expérimentations Magicien d’Oz : phase d’expérimentation Appeler un médecin si anomalie pression/respiration Répondre aux appels Saisir des feuilles de soin Noter les variations de pression Appeler chez soi si anomalie bébé
Expérimentations Magicien d’Oz : recueil des résultats Questionnaire avec réponses ouvertes et fermées Entretien à la fin de l’expérimentation
Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction
Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction ils apprécient de pouvoir suivre des informations tout en faisant autre chose
Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils sont à l’aise avec les associations objets / sons
Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction cependant ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis)
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet apparence de l’objet rappelant la sémantique de l’information
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles objets suggérant des manipulations 3D, taille de la main, boutons manipulations possibles manipulation de boutons, déplacement dans zones tâches souhaitables rejouer dernière séquence de son jouer son de tous les haut-parleurs
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles Sources sonores sons facilement identifiables sons suivis émis ponctuellement régulièrement / lors d’événements si la source est rendue muette par l’utilisateur événements observables de manière non auditive si la source est muette sans avoir été éteinte par l’utilisateur possibilité d’avoir un diagnostic de panne manipulation préconisée : secouer l’objet correspondant
Spécification des phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations
Comment spécifier les Phearcons ? Indiquer lien vers la source Source d’informations Indiquer l’objet ??? Objet physique Son Paramètres caractérisant la transformation d’informations en sons (sonification)
Comment obtenir des paramètres de conception pour la sonification ? Adapter le processus de visualisation de Ed Chi [Chi ’00] à la sonification structuration du processus de sonification en étapes d’abstraction identification de paramètres de conception pour chaque étape de sonification
Processus de visualisation de Chi : transformation des données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Ensemble de documents CLIPS CLIPS CLIPS CLIPS Transformation des données Liste de documents Abstraction analytique : Vue sur les données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de visualisation Abstraction de visualisation : Espace visuel abstrait Transformation de réalisation visuelle Vue : Vue sur l’espace
Processus de visualisation de Chi : transformation de visualisation Données Transformation des données Liste de documents Abstraction analytique : Vue sur les données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de visualisation CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Abstraction de visualisation : Espace visuel abstrait Espace 2D CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de réalisation visuelle Vue : Vue sur l’espace
Processus de visualisation de Chi : transformation de réalisation visuelle Données Transformation des données Abstraction analytique : Vue sur les données Transformation de visualisation CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Abstraction de visualisation : Espace visuel abstrait Espace 2D CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de réalisation visuelle Vue : Vue sur l’espace Vue déformée
Processus de sonification : transformation des données Image Suite de colonnes de pixels . . . Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Processus de sonification : transformation de sonification Données Transformation des données . . . Abstraction analytique : Vue sur les données Niveau de gris = intensité Ordonnée = hauteur Transformation de sonification . . . Séquence de sons Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Processus de sonification : transformation de diffusion Données Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification . . . Séquence de sons Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation des données Commun avec la visualisation Dépendant des données de la sémantique des données de la tâche de l’utilisateur final ex : AROMA [Pedersen] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : espace sonore abstrait Données Espace sonore abstrait = espace euclidien = 1 point sans spatialisation son abstrait = durée traits acoustiques variant pendant cette durée Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : deux niveaux de sonification Données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : deux niveaux de sonification Données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : représentation d’une donnée Données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son Son spatialisé : sémantique position sémantique du son spatialisation analogique par rapport à un phénomène sonore : cathédrale non sonore : Diary in the Sky [Walker] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : représentation d’une donnée Données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification RDV à 15h Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons Coordination des sons de l’ensemble de sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace Transformation de diffusion Endroits différents Son stéréo Diary in the Sky Rendu sonore Même endroit Colonne de pixels Synthèse vocale Temps Simultané Alterné
Transformation de diffusion Données Transformation en 4 étapes (i) choix du point de vue sur l’espace sonore abstrait (ii) espace sonore -> paramètres pour le dispositif de rendu (iii) paramètres pour le dispositif de rendu -> signal sonore (iv) signal sonore -> son physique Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Transformation de diffusion Données Transformation en 4 étapes Dispositif physique précision sonore degré de spatialité répartition géom. des haut-parleurs degré de partage liberté de déplacement degré d’immersion ex : Soundbeam Neckset [Sawhney] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore
Contributions (a) classification Exemple : la catégorie des « earcons » Earcons de Blattner Earcons série de Brewster Earcons parall. de Brewster Param. Système Sonnerie (dép. de l’appelant) Sonnerie (indép. de l’appelant) Oui Gram- maire Non ... Données à sonifier X appelle Quelqu’un appelle Synthétique Musical Nature du son Alterné Simultané Simultané / alterné
Contributions (b) aide à la conception Identification d’étapes de conception
Contributions (b) aide à la conception Identification d’étapes de conception Identification de paramètres de conception à chaque étape : guide pour la conception fondation pour intégrer et générer des heuristiques de conception sonifications dépendantes du contexte
Spécification des Phearcons Paramètres identifiés permettant la spécification des sources sonores spécification grâce à une interface graphique : la plateforme en cours de développement
Plate-forme logicielle et matérielle de spécification et d’exécution Phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Caméra + projecteur
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Caméra + projecteur
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées Caméra + projecteur Radio FM Etat : actif
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué Caméra + projecteur Radio FM Etat : actif
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume Caméra + projecteur off min Radio FM Etat : actif med. max
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume zone Historique (H) Caméra + projecteur off H min Radio FM Etat : actif med. max
Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume zone Historique (H) zone Surround Caméra + projecteur off Surround H min Radio FM Etat : actif med. max
Plateforme en cours de développement : spécification des phearcons
Plateforme en cours de développement : spécification des phearcons
Plateforme en cours de développement : spécification des phearcons
Plateforme en cours de développement : spécification des phearcons
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] Données CD Transformation des données Abstraction analytique : Vue sur les données ANF PL Transformation de sonification Abstraction de sonification : Espace sonore abstrait NF PP Transformation de diffusion Rendu sonore
Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] Spécification d’une Phearcon = configuration de chaque niveau de l’arche Données CD Transformation des données Abstraction analytique : Vue sur les données ANF PL Transformation de sonification Abstraction de sonification : Espace sonore abstrait NF PP Transformation de diffusion Rendu sonore
Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement
Etat d’avancement Phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle en cours Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations
Etat d’avancement Plateforme en cours de développement tracking visuel : ok routines sonores : ok interface graphique de spécification : fin en février
Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai utilité des paramètres de sonification sonification d’informations contextuelles avec Gaëtan Rey ex : activité de groupe utilisation de longue durée (2 mois) avec des sources distantes
Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai Rédaction du mémoire : mai à août envoi de la thèse le 31 août, soutenance fin octobre
Publications Doct. cons. CHI ’04 (soumis) Phearcons Ubiquité Mobilité ’04 (soumis) Interaction Spécification ICAD ’04 (soumis) IHM ’02 ICAD ’03 Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons début mars informations contextuelles Info’Vis 04 mars-mai : utilité paramètres sonification utilisation longue durée Expérimentations
Merci pour votre attention ! des questions ?
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet apparence de l’objet rappelant la sémantique de l’information (charge informationnelle)
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles objets suggérant des manipulations 3D, taille de la main, boutons (affordance) manipulations possibles manipulation de boutons, déplacement dans zones (concision + charge informationnelle) tâches souhaitables rejouer dernière séquence de son (observabilité) jouer son de tous les haut-parleurs ("satisfaction")
Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles Sources sonores (observabilité + honnêteté) sons facilement identifiables sons suivis émis ponctuellement régulièrement / lors d’événements si la source est rendue muette par l’utilisateur événements observables de manière non auditive (équivalence) si la source est muette sans avoir été éteinte par l’utilisateur possibilité d ’avoir un diagnostic de panne manipulation préconisée : secouer l’objet correspondant