Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie.

Présentation au sujet: "Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie."— Transcription de la présentation:

1

2 Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie de lInteraction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble

3 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 2 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

4 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 3 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

5 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 4 Virtualité augmentée Virtualité Augmentée Interaction Entités numériques Entités physiques

6 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 5 Virtualité augmentée Virtualité Augmentée Interaction Entités numériques Entités physiques sources sonores

7 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 6 Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles)

8 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 7 Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel situations mobiles situations mobiles interfaces pour aveugles interfaces pour aveugles retour dinformations dans les interfaces graphiques retour dinformations dans les interfaces graphiques

9 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 8 Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse informations sonores simultanées : « effet cocktail » informations sonores simultanées : « effet cocktail » alertes alertes données multidimensionnelles données multidimensionnelles motifs temporels motifs temporels

10 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 9 Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan sons en arrière-plan entendus uniquement sons en arrière-plan entendus uniquement lorsque lutilisateur choisit de sy concentrer lorsque lutilisateur choisit de sy concentrer lorsquun changement soudain intervient dans le son lorsquun changement soudain intervient dans le son suivi des sons darrière-plan + activité principale indépendante suivi des sons darrière-plan + activité principale indépendante

11 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 10 Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan Sentiment dimmersion Sentiment dimmersion ex : réalité virtuelle

12 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 11 Phicons + Earcons = Phearcons Phearcons = association Phearcons = association dobjets physiques (phicons, physical icons [Ishii]) dobjets physiques (phicons, physical icons [Ishii]) avec des sources sonores (earcons [Blattner]) avec des sources sonores (earcons [Blattner])

13 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 12 Phicons + Earcons = Phearcons Phearcons = association Phearcons = association Positions des sons et des objets couplées Positions des sons et des objets couplées Queue dimpression Niveau sonore chez Maman Radio Niveau sonore cafet

14 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 13 Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan média dambiance média dambiance effet cocktail effet cocktail passage au premier plan ou à larrière-plan en approchant ou en éloignant lobjet physique correspondant passage au premier plan ou à larrière-plan en approchant ou en éloignant lobjet physique correspondant

15 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 14 Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur manipulation directe de sources sonores manipulation directe de sources sonores

16 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 15 Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur Audioconférence Audioconférence intervenants représentés par leurs photos intervenants représentés par leurs photos possibilité d « éteindre » momentanément un locuteur possibilité d « éteindre » momentanément un locuteur passage dun groupe de discussion à un autre passage dun groupe de discussion à un autre

17 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 16 Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur Audioconférence Audioconférence intervenants représentés par leurs photos intervenants représentés par leurs photos possibilité d « éteindre » momentanément un locuteur possibilité d « éteindre » momentanément un locuteur passage dun groupe de discussion à un autre passage dun groupe de discussion à un autre

18 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 17 Source dinformations Objet physique Son Spécification des Phearcons

19 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 18 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

20 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 19 Démarche de travail Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des Phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction Spécification

21 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 20 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

22 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 21 Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : justification théorique Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

23 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 22 Propriétés ergonomiques [Scapin 86] Adaptabilité Adaptabilité lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées il positionne les objets selon son but et sa tâche courants il positionne les objets selon son but et sa tâche courants

24 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 23 Adaptabilité Adaptabilité Familiarité Familiarité lutilisateur sentoure dun environnement familier lutilisateur sentoure dun environnement familier Propriétés ergonomiques [Scapin 86]

25 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 24 Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores lutilisateur manipule directement les sources sonores lutilisateur manipule directement les sources sonores ex : déplacer-déposer une source sonore ex : déplacer-déposer une source sonore Propriétés ergonomiques [Scapin 86]

26 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 25 Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores Entrée : manipulation de plusieurs objets physiques Entrée : manipulation de plusieurs objets physiques Sortie : présentation sonore de plusieurs sources dinformations Sortie : présentation sonore de plusieurs sources dinformations Propriétés ergonomiques [Scapin 86]

27 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 26 Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores Observabilité des sources sonores : meilleure discrimination des sources Observabilité des sources sonores : meilleure discrimination des sources effet cocktail effet cocktail spatialisation spatialisation association objet-son -> meilleure mémorisation de lemplacement des sources sonores et de leur identité association objet-son -> meilleure mémorisation de lemplacement des sources sonores et de leur identité Propriétés ergonomiques [Scapin 86]

28 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 27 Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : justification expérimentale Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

29 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 28 Expérimentations Magicien dOz : motivation Validation dhypothèses Validation dhypothèses utilisabilité utilisabilité satisfaction des utilisateurs ? satisfaction des utilisateurs ? association naturelle entre objet et son ? association naturelle entre objet et son ? simplicité dutilisation ? simplicité dutilisation ? discrimination des sources sonores ? discrimination des sources sonores ? utilité utilité efficacité pour le suivi de sources sonores en arrière-plan ? efficacité pour le suivi de sources sonores en arrière-plan ?

30 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 29 Expérimentations Magicien dOz : motivation Validation dhypothèses Validation dhypothèses Règles de conception pour la plate-forme Règles de conception pour la plate-forme nature du lien entre objets et sources dinformations nature du lien entre objets et sources dinformations actions possibles et souhaitables actions possibles et souhaitables caractéristiques souhaitées des sources sonores caractéristiques souhaitées des sources sonores

31 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 30 11 sujets 11 sujets non experts et non informaticiens non experts et non informaticiens âgés de 26 ans en moyenne âgés de 26 ans en moyenne recrutés par bouche à oreille recrutés par bouche à oreille Expérimentations Magicien dOz : protocole expérimental

32 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 31 Son + image Contrôle des sources sonores Complice Sujet Magicien Son spatialisé 5.1 Expérimentations Magicien dOz : protocole expérimental

33 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 32 Pression artérielle (alerte) Respiration (continu) Radio (continu) Météo (toutes les 5 minutes) Bébé à la maison (continu) Rôle dinfirmier Expérimentations Magicien dOz : sources sonores présentées aux sujets

34 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 33 Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son effectué parmi un ensemble dobjets effectué parmi un ensemble dobjets Expérimentations Magicien dOz : phase de calibration

35 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 34 Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées : modalités proposées : voix, gestes, manipulations de lobjet, combinaison de modalités voix, gestes, manipulations de lobjet, combinaison de modalités Expérimentations Magicien dOz : phase de calibration

36 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 35 Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore : commandes pour chaque source sonore : arrêter / jouer le son arrêter / jouer le son augmenter / diminuer le volume augmenter / diminuer le volume faire venir le son de partout / de la direction de lobjet faire venir le son de partout / de la direction de lobjet Expérimentations Magicien dOz : phase de calibration

37 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 36 Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore commandes pour chaque source sonore commandes pour toutes les sources sonores à la fois : commandes pour toutes les sources sonores à la fois : arrêter / jouer les sons arrêter / jouer les sons Expérimentations Magicien dOz : phase de calibration

38 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 37 Appeler chez soi si anomalie bébé Saisir des feuilles de soin Appeler un médecin si anomalie pression/respiration Noter les variations de pression Répondre aux appels Expérimentations Magicien dOz : phase dexpérimentation

39 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 38 Questionnaire avec réponses ouvertes et fermées Questionnaire avec réponses ouvertes et fermées Entretien à la fin de lexpérimentation Entretien à la fin de lexpérimentation Expérimentations Magicien dOz : recueil des résultats

40 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 39 10 des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction Expérimentations Magicien dOz : principaux résultats

41 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 40 10 des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose Expérimentations Magicien dOz : principaux résultats

42 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 41 10 des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils sont à laise avec les associations objets / sons ils sont à laise avec les associations objets / sons Expérimentations Magicien dOz : principaux résultats

43 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 42 10 des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction cependant cependant ils ont des difficultés à se souvenir des commandes choisies ils ont des difficultés à se souvenir des commandes choisies Expérimentations Magicien dOz : principaux résultats

44 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 43 Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : règles de conception obtenues Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

45 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 44 Association information-objet Association information-objet apparence de lobjet rappelant la sémantique de linformation apparence de lobjet rappelant la sémantique de linformation Expérimentations Magicien dOz : règles de conception obtenues

46 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 45 Association information-objet Association information-objet Actions possibles Actions possibles objets suggérant des manipulations objets suggérant des manipulations 3D, taille de la main, boutons 3D, taille de la main, boutons manipulations possibles manipulations possibles manipulation de boutons, déplacement dans zones manipulation de boutons, déplacement dans zones tâches souhaitables tâches souhaitables rejouer dernière séquence de son rejouer dernière séquence de son jouer son de tous les haut-parleurs jouer son de tous les haut-parleurs Expérimentations Magicien dOz : règles de conception obtenues

47 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 46 Association information-objet Association information-objet Actions possibles Actions possibles Sources sonores Sources sonores sons facilement identifiables sons facilement identifiables sons suivis émis ponctuellement sons suivis émis ponctuellement régulièrement / lors dévénements régulièrement / lors dévénements si la source est rendue muette par lutilisateur si la source est rendue muette par lutilisateur événements observables de manière non auditive événements observables de manière non auditive si la source est muette sans avoir été éteinte par lutilisateur si la source est muette sans avoir été éteinte par lutilisateur possibilité davoir un diagnostic de panne possibilité davoir un diagnostic de panne manipulation préconisée : secouer lobjet correspondant manipulation préconisée : secouer lobjet correspondant Expérimentations Magicien dOz : règles de conception obtenues

48 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 47 Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : des règles de conception à la plateforme Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

49 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 48 Plateforme : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard]

50 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 49 Plateforme : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé :

51 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 50 Plateforme : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées

52 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 51 Plateforme : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué

53 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 52 Plateforme : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume max med. min off Radio FM Etat : actif Caméra + projecteur

54 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 53 Plateforme : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) max med. min off Radio FM Etat : actif Caméra + projecteur H

55 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 54 Plateforme : interaction avec les phearcons Surround Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) zone Surround zone Surround max med. min off Radio FM Etat : actif Caméra + projecteur H

56 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 55 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

57 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 56 Processus de sonification et paramètres de spécification des Phearcons Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Expérimentations Phearcons Processus de sonification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Spécification Paramètres de spécification des phearcons Architecture logicielle

58 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 57 Comment spécifier les Phearcons ? Source dinformations Objet physique Son Indiquer lobjet Indiquer lien vers la source ??? Paramètres caractérisant la transformation dinformations en sons (sonification)

59 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 58 Comment obtenir des paramètres de conception pour la sonification ? Adaptation du processus de visualisation de Ed Chi [Chi 00] à la sonification Adaptation du processus de visualisation de Ed Chi [Chi 00] à la sonification structuration du processus de sonification en étapes dabstraction structuration du processus de sonification en étapes dabstraction identification de paramètres de conception pour chaque étape de sonification identification de paramètres de conception pour chaque étape de sonification

60 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 59 Processus de sonification : transformation des données Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Image Suite de colonnes de pixels... Enchaînement de sonifications Transformation de temporisation Séquence de filtres

61 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 60 Processus de sonification : transformation de temporisation Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Suite de colonnes de pixels...+ 7h -> 9h toutes les 5 minutes... Enchaînement de sonifications Instant de déclenchement Fréquence de répétition Motif de larrêt (automatique, manuel) Durée de lhistorique

62 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 61... Niveau de gris = intensité sonore Ordonnée dans la colonne = hauteur sonore Séquence de sons... Processus de sonification : transformation de sonification Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Volume sonore absolu Algorithme de synthèse paramétrable (ex : vent, bulles) selon la structure de données Paramètres de sonification Paramètres de coordination

63 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 62 Séquence de sons... Processus de sonification : transformation de diffusion Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Dispositif de diffusion (selon lalgorithme de synthèse)

64 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 63 Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Expérimentations Phearcons Processus de sonification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Spécification Paramètres de spécification des phearcons Architecture logicielle Processus de sonification et architecture des Phearcons

65 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 64 Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] NF ANF CD PL PP Plateforme : architecture des Phearcons Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications

66 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 65 Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] Spécification dune Phearcon = configuration de chaque niveau de larche Spécification dune Phearcon = configuration de chaque niveau de larche NF ANF CD PL PP Plateforme : architecture des Phearcons Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données

67 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 66 Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] Spécification dune Phearcon Spécification dune Phearcon Modularité Modularité NF ANF CD PL PP Plateforme : architecture des Phearcons Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données

68 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 67 Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons

69 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 68 Interaction avec les Phearcons Interaction avec les Phearcons règles obtenues par lexpérimentation magicien dOz règles obtenues par lexpérimentation magicien dOz Plateforme : récapitulatif

70 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 69 Interaction avec les Phearcons Interaction avec les Phearcons Définition des Phearcons par lutilisateur Définition des Phearcons par lutilisateur Paramètres identifiés avec le processus de sonification Paramètres identifiés avec le processus de sonification Plateforme : récapitulatif Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données

71 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 70 Interaction avec les Phearcons Interaction avec les Phearcons Définition des Phearcons par lutilisateur Définition des Phearcons par lutilisateur Architecture dune Phearcon Architecture dune Phearcon parallèle entre processus de sonification et modèle darchitecture ARCH parallèle entre processus de sonification et modèle darchitecture ARCH Plateforme : récapitulatif

72 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 71 Modifiabilité et modularité Modifiabilité et modularité architecture basée sur ARCH architecture basée sur ARCH Plateforme : propriétés du code

73 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 72 Modifiabilité et modularité Modifiabilité et modularité Extensibilité Extensibilité langage interprété Tcl/Tk -> ajout dynamique dalgorithmes langage interprété Tcl/Tk -> ajout dynamique dalgorithmes Plateforme : propriétés du code

74 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 73 Modifiabilité et modularité Modifiabilité et modularité Extensibilité Extensibilité Portabilité Portabilité langages et API multi-plateformes langages et API multi-plateformes Plateforme : propriétés du code

75 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 74 Plateforme : expérimentations à venir Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons

76 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 75 Pertinence des paramètres de spécification Pertinence des paramètres de spécification rapidité de configuration rapidité de configuration nombre ditérations de configuration avant résultat satisfaisant nombre ditérations de configuration avant résultat satisfaisant Utilisation en conditions réelles pendant 2 mois Utilisation en conditions réelles pendant 2 mois utilisabilité, utilité utilisabilité, utilité Comparaison avec des interfaces « standard » Comparaison avec des interfaces « standard » efficacité des Phearcons pour le suivi dinformations efficacité des Phearcons pour le suivi dinformations efficacité de laudio par rapport à une interface visuelle efficacité de laudio par rapport à une interface visuelle Plateforme : expérimentations à venir

77 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 76 Merci pour votre attention ! des questions ?

78 Mobilité Ubiquité 2004 Mobilité Ubiquité 2004 - 3 juin 2004 - 77 Lien dynamique entre le monde physique et le monde numérique Statique Dynamique Lien entre le monde physique et le monde numérique