Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY

Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement Journée des thèses - CLIPS - 29 janvier 2004

Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement

Monde physique, monde numérique Monde réel Monde non-tangible Monde numérique Monde virtuel Deux approches pour relier les deux mondes : Interaction Homme-Machine : Enrichissement du monde réel avec de l’informatique Graphisme assisté par ordinateur : Enrichissement de scènes virtuelles avec des images du monde réel

Monde physique, monde numérique Deux approches pour relier les deux mondes … avec un objectif commun Monde non-tangible Monde numérique Monde virtuel Monde physique Monde réel

Monde physique, monde numérique : Objet de la tâche et Interaction Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques

Monde physique, monde numérique : Objet de la tâche et Interaction Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques Pixels miroir [Vernier 99]

Monde physique, monde numérique : Objet de la tâche et Interaction Chirurgie guidée par l’image [Grimson 96] Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques

Mon domaine : Virtualité Augmentée Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Interaction Entités numériques Entités physiques Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques

Mon domaine : Virtualité Augmentée et son en sortie Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Interaction Entités numériques Entités physiques Monde physique Interaction physique Réalité augmentée Interaction sources sonores Avec objets physiques Avec objets numériques

Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles)

Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel situations mobiles interfaces pour aveugles retour d’informations dans les interfaces graphiques

Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse informations sonores simultanées : « effet cocktail » alertes données multidimensionnelles motifs temporels

Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse Media d’ambiance : en arrière-plan sons en arrière-plan entendus uniquement lorsque l’utilisateur choisit de s’y concentrer lorsqu’un changement soudain intervient dans le son suivi des sons d’arrière-plan + activité principale indépendante

Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil d’analyse Media d’ambiance : en arrière-plan Sentiment d’immersion ex : réalité virtuelle

Plan de l’exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement 7-8 minutes Journée des thèses - CLIPS - 29 janvier 2004

Phicons + Earcons = Phearcons Phearcons = association d’objets physiques (phicons, physical icons [Ishii]) avec des sources sonores spatialisées (earcons [Blattner]) Radio Niveau sonore chez Maman Niveau sonore cafet Queue d’impression

Exemples d’application Suivi d’informations en arrière-plan média d’ambiance effet cocktail passage du premier plan à l’arrière-plan en approchant ou en éloignant l’objet physique correspondant

Exemples d’application Suivi d’informations en arrière-plan Composition Assistée par Ordinateur manipulation directe de sources sonores

Exemples d’application Suivi d’informations en arrière-plan Composition Assistée par Ordinateur Audioconférence intervenants représentés par leurs photos possibilité d’ « éteindre » momentanément un locuteur passage d’un groupe de discussion à un autre

Objectifs Caractériser et évaluer : l’interaction avec les Phearcons la spécification des Phearcons par l’utilisateur

Objectifs Caractériser et évaluer : l’interaction avec les Phearcons la spécification des Phearcons par l’utilisateur Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et matérielle de spécification et d’exécution des Phearcons

Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."

Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."

Travaux relatifs Utilisation d’objets physiques et de médias d’ambiance Suivi d’informations sonores en arrière-plan [Conversy] : sources sonores écologiques AROMA [Pedersen] : conscience de groupe [Malandrino] : état du réseau

Classification des Phearcons Objet de la tâche Virtualité augmentée Interaction numérique Monde numérique Monde physique Interaction physique Réalité augmentée Interaction Avec objets physiques Avec objets numériques

Classification des Phearcons Objet de la tâche Lien entre le monde physique et le monde numérique Monde numérique Dynamique Monde physique Statique Interaction Avec objets physiques Avec objets numériques

Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement 15 Journée des thèses - CLIPS - 29 janvier 2004

Démarche de travail Phearcons Interaction Spécification Justification théorique : propriétés ergonomiques Justification expérimentale : magicien d’oz Processus de sonification Règles de conception pour l’interaction Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations

Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions : interaction avec les phearcons : justification théorique et expérimentale spécification des phearcons : processus de sonification plate-forme de définition et d’exécution des phearcons Etat d’avancement

Interaction avec les Phearcons : justification théorique et expérimentale Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations

Propriétés ergonomiques [Scapin 86] Adaptabilité L’utilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées. Il positionne les objets selon son but et sa tâche courants.

Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité L’utilisateur s’entoure d’un environnement familier.

Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores L’utilisateur manipule directement les sources sonores. ex : déplacer-déposer une source sonore

Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores L ’utilisateur manipule plusieurs sources simultanément Il suit plusieurs sources d ’informations simultanément

Propriétés ergonomiques [Scapin 86] Adaptabilité Familiarité Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Observabilité des sources sonores par leur meilleure discrimination effet cocktail spatialisation association objet-son -> meilleure mémorisation de la nature et de l’emplacement des sources sonores

Expérimentations Magicien d’Oz : motivation Validation d’hypothèses théoriques utilisabilité satisfaction des utilisateurs ? association naturelle entre objet et son ? simplicité d’utilisation ? discrimination des sources sonores ? utilité efficacité pour le suivi de sources sonores en arrière-plan ?

Expérimentations Magicien d’Oz : motivation Validation d’hypothèses théoriques Règles de conception pour une plate-forme nature du lien entre objets et sources d’informations actions possibles et souhaitables caractéristiques souhaitées des sources sonores

Expérimentations Magicien d’Oz : protocole expérimental 11 sujets non experts et non informaticiens âgés de 26 ans en moyenne recrutés par bouche à oreille

Expérimentations Magicien d’Oz : protocole expérimental Son + image Complice Son spatialisé 5.1 Sujet Magicien Contrôle des sources sonores

Expérimentations Magicien d’Oz : sources sonores présentées aux sujets Pression artérielle (alerte) Respiration (continu) Radio (continu) Rôle d’infirmier Bébé à la maison (continu) Météo (toutes les 5 minutes)

Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son effectué parmi un ensemble d’objets

Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées : voix, gestes, manipulations de l’objet, combinaison de modalités

Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées commandes pour chaque source sonore : arrêter / jouer le son augmenter / diminuer le volume faire venir le son de partout / de la direction de la source

Expérimentations Magicien d’Oz : phase de calibration Choix de l’objet à associer à chaque son Choix des commandes modalités proposées commandes pour chaque source sonore commandes pour toutes les sources sonores à la fois : arrêter / jouer les sons

Expérimentations Magicien d’Oz : phase d’expérimentation Appeler un médecin si anomalie pression/respiration Répondre aux appels Saisir des feuilles de soin Noter les variations de pression Appeler chez soi si anomalie bébé

Expérimentations Magicien d’Oz : recueil des résultats Questionnaire avec réponses ouvertes et fermées Entretien à la fin de l’expérimentation

Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction

Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction ils apprécient de pouvoir suivre des informations tout en faisant autre chose

Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils sont à l’aise avec les associations objets / sons

Expérimentations Magicien d’Oz : principaux résultats 10 des 11 sujets apprécient ce mode d’interaction cependant ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis)

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet apparence de l’objet rappelant la sémantique de l’information

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles objets suggérant des manipulations 3D, taille de la main, boutons manipulations possibles manipulation de boutons, déplacement dans zones tâches souhaitables rejouer dernière séquence de son jouer son de tous les haut-parleurs

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles Sources sonores sons facilement identifiables sons suivis émis ponctuellement régulièrement / lors d’événements si la source est rendue muette par l’utilisateur événements observables de manière non auditive si la source est muette sans avoir été éteinte par l’utilisateur possibilité d’avoir un diagnostic de panne manipulation préconisée : secouer l’objet correspondant

Spécification des phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations

Comment spécifier les Phearcons ? Indiquer lien vers la source Source d’informations Indiquer l’objet ??? Objet physique Son Paramètres caractérisant la transformation d’informations en sons (sonification)

Comment obtenir des paramètres de conception pour la sonification ? Adapter le processus de visualisation de Ed Chi [Chi ’00] à la sonification structuration du processus de sonification en étapes d’abstraction identification de paramètres de conception pour chaque étape de sonification

Processus de visualisation de Chi : transformation des données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Ensemble de documents CLIPS CLIPS CLIPS CLIPS Transformation des données Liste de documents Abstraction analytique : Vue sur les données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de visualisation Abstraction de visualisation : Espace visuel abstrait Transformation de réalisation visuelle Vue : Vue sur l’espace

Processus de visualisation de Chi : transformation de visualisation Données Transformation des données Liste de documents Abstraction analytique : Vue sur les données CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de visualisation CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Abstraction de visualisation : Espace visuel abstrait Espace 2D CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de réalisation visuelle Vue : Vue sur l’espace

Processus de visualisation de Chi : transformation de réalisation visuelle Données Transformation des données Abstraction analytique : Vue sur les données Transformation de visualisation CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Abstraction de visualisation : Espace visuel abstrait Espace 2D CLIPS CLIPS CLIPS CLIPS CLIPS CLIPS Transformation de réalisation visuelle Vue : Vue sur l’espace Vue déformée

Processus de sonification : transformation des données Image Suite de colonnes de pixels . . . Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Processus de sonification : transformation de sonification Données Transformation des données . . . Abstraction analytique : Vue sur les données Niveau de gris = intensité Ordonnée = hauteur Transformation de sonification . . . Séquence de sons Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Processus de sonification : transformation de diffusion Données Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification . . . Séquence de sons Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation des données Commun avec la visualisation Dépendant des données de la sémantique des données de la tâche de l’utilisateur final ex : AROMA [Pedersen] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : espace sonore abstrait Données Espace sonore abstrait = espace euclidien = 1 point sans spatialisation son abstrait = durée traits acoustiques variant pendant cette durée Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : deux niveaux de sonification Données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : deux niveaux de sonification Données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son 1 ens. données  1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son 1 ens. données  1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : représentation d’une donnée Données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son Son spatialisé : sémantique position  sémantique du son spatialisation analogique par rapport à un phénomène sonore : cathédrale non sonore : Diary in the Sky [Walker] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : représentation d’une donnée Données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification RDV à 15h Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son 1 ens. données  1 ens. sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de sonification : représentation d’un ensemble de données Espace sonore abstrait Deux niveaux de sonification 1 donnée  1 son 1 ens. données  1 ens. sons Coordination des sons de l’ensemble de sons Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace Transformation de diffusion Endroits différents Son stéréo Diary in the Sky Rendu sonore Même endroit Colonne de pixels Synthèse vocale Temps Simultané Alterné

Transformation de diffusion Données Transformation en 4 étapes (i) choix du point de vue sur l’espace sonore abstrait (ii) espace sonore -> paramètres pour le dispositif de rendu (iii) paramètres pour le dispositif de rendu -> signal sonore (iv) signal sonore -> son physique Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Transformation de diffusion Données Transformation en 4 étapes Dispositif physique précision sonore degré de spatialité répartition géom. des haut-parleurs degré de partage liberté de déplacement degré d’immersion ex : Soundbeam Neckset [Sawhney] Transformation des données Abstraction analytique : Vue sur les données Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Rendu sonore

Contributions (a) classification Exemple : la catégorie des « earcons » Earcons de Blattner Earcons série de Brewster Earcons parall. de Brewster Param. Système Sonnerie (dép. de l’appelant) Sonnerie (indép. de l’appelant) Oui Gram- maire Non ... Données à sonifier X appelle Quelqu’un appelle Synthétique Musical Nature du son Alterné Simultané Simultané / alterné

Contributions (b) aide à la conception Identification d’étapes de conception

Contributions (b) aide à la conception Identification d’étapes de conception Identification de paramètres de conception à chaque étape : guide pour la conception fondation pour intégrer et générer des heuristiques de conception sonifications dépendantes du contexte

Spécification des Phearcons Paramètres identifiés permettant la spécification des sources sonores spécification grâce à une interface graphique : la plateforme en cours de développement

Plate-forme logicielle et matérielle de spécification et d’exécution Phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Caméra + projecteur

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Caméra + projecteur

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées Caméra + projecteur Radio FM Etat : actif

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué Caméra + projecteur Radio FM Etat : actif

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume Caméra + projecteur off min Radio FM Etat : actif med. max

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume zone Historique (H) Caméra + projecteur off H min Radio FM Etat : actif med. max

Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : informations contextuelles projetées son caractéristique joué 4 zones de volume zone Historique (H) zone Surround Caméra + projecteur off Surround H min Radio FM Etat : actif med. max

Plateforme en cours de développement : spécification des phearcons

Plateforme en cours de développement : spécification des phearcons

Plateforme en cours de développement : spécification des phearcons

Plateforme en cours de développement : spécification des phearcons

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] CD ANF PL NF PP

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] Données CD Transformation des données Abstraction analytique : Vue sur les données ANF PL Transformation de sonification Abstraction de sonification : Espace sonore abstrait NF PP Transformation de diffusion Rendu sonore

Plateforme en cours de développement : spécification Code de chaque Phearcon généré selon ARCH [UIMS’92] Spécification d’une Phearcon = configuration de chaque niveau de l’arche Données CD Transformation des données Abstraction analytique : Vue sur les données ANF PL Transformation de sonification Abstraction de sonification : Espace sonore abstrait NF PP Transformation de diffusion Rendu sonore

Plan de l'exposé Domaine : virtualité augmentée Sujet : phearcons Démarche de travail Contributions Etat d’avancement

Etat d’avancement Phearcons Interaction Spécification Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle en cours Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons Expérimentations

Etat d’avancement Plateforme en cours de développement tracking visuel : ok routines sonores : ok interface graphique de spécification : fin en février

Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai utilité des paramètres de sonification sonification d’informations contextuelles avec Gaëtan Rey ex : activité de groupe utilisation de longue durée (2 mois) avec des sources distantes

Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai Rédaction du mémoire : mai à août envoi de la thèse le 31 août, soutenance fin octobre

Publications Doct. cons. CHI ’04 (soumis) Phearcons Ubiquité Mobilité ’04 (soumis) Interaction Spécification ICAD ’04 (soumis) IHM ’02 ICAD ’03 Justification expérimentale : magicien d’oz Justification théorique : propriétés ergonomiques Processus de sonification Règles de conception pour l’interaction Paramètres de conception pour la spécification Architecture logicielle Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons début mars informations contextuelles Info’Vis 04 mars-mai : utilité paramètres sonification utilisation longue durée Expérimentations

Merci pour votre attention ! des questions ?

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet apparence de l’objet rappelant la sémantique de l’information (charge informationnelle)

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles objets suggérant des manipulations 3D, taille de la main, boutons (affordance) manipulations possibles manipulation de boutons, déplacement dans zones (concision + charge informationnelle) tâches souhaitables rejouer dernière séquence de son (observabilité) jouer son de tous les haut-parleurs ("satisfaction")

Expérimentations Magicien d’Oz : règles de conception déduites Association information-objet Actions possibles Sources sonores (observabilité + honnêteté) sons facilement identifiables sons suivis émis ponctuellement régulièrement / lors d’événements si la source est rendue muette par l’utilisateur événements observables de manière non auditive (équivalence) si la source est muette sans avoir été éteinte par l’utilisateur possibilité d ’avoir un diagnostic de panne manipulation préconisée : secouer l’objet correspondant