Mobilité Ubiquité 2004 Objets physiques pour manipuler des sources sonores : Phicon+Earcon=Phearcon Sylvain DAUDÉ et Laurence NIGAY Equipe Ingénierie de lInteraction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Virtualité augmentée Virtualité Augmentée Interaction Entités numériques Entités physiques
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Virtualité augmentée Virtualité Augmentée Interaction Entités numériques Entités physiques sources sonores
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles)
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel situations mobiles situations mobiles interfaces pour aveugles interfaces pour aveugles retour dinformations dans les interfaces graphiques retour dinformations dans les interfaces graphiques
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse informations sonores simultanées : « effet cocktail » informations sonores simultanées : « effet cocktail » alertes alertes données multidimensionnelles données multidimensionnelles motifs temporels motifs temporels
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan sons en arrière-plan entendus uniquement sons en arrière-plan entendus uniquement lorsque lutilisateur choisit de sy concentrer lorsque lutilisateur choisit de sy concentrer lorsquun changement soudain intervient dans le son lorsquun changement soudain intervient dans le son suivi des sons darrière-plan + activité principale indépendante suivi des sons darrière-plan + activité principale indépendante
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan Sentiment dimmersion Sentiment dimmersion ex : réalité virtuelle
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Phicons + Earcons = Phearcons Phearcons = association Phearcons = association dobjets physiques (phicons, physical icons [Ishii]) dobjets physiques (phicons, physical icons [Ishii]) avec des sources sonores (earcons [Blattner]) avec des sources sonores (earcons [Blattner])
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Phicons + Earcons = Phearcons Phearcons = association Phearcons = association Positions des sons et des objets couplées Positions des sons et des objets couplées Queue dimpression Niveau sonore chez Maman Radio Niveau sonore cafet
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan média dambiance média dambiance effet cocktail effet cocktail passage au premier plan ou à larrière-plan en approchant ou en éloignant lobjet physique correspondant passage au premier plan ou à larrière-plan en approchant ou en éloignant lobjet physique correspondant
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur manipulation directe de sources sonores manipulation directe de sources sonores
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur Audioconférence Audioconférence intervenants représentés par leurs photos intervenants représentés par leurs photos possibilité d « éteindre » momentanément un locuteur possibilité d « éteindre » momentanément un locuteur passage dun groupe de discussion à un autre passage dun groupe de discussion à un autre
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Domaines dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Musicale Assistée par Ordinateur Composition Musicale Assistée par Ordinateur Audioconférence Audioconférence intervenants représentés par leurs photos intervenants représentés par leurs photos possibilité d « éteindre » momentanément un locuteur possibilité d « éteindre » momentanément un locuteur passage dun groupe de discussion à un autre passage dun groupe de discussion à un autre
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Source dinformations Objet physique Son Spécification des Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Démarche de travail Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des Phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction Spécification
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : justification théorique Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Propriétés ergonomiques [Scapin 86] Adaptabilité Adaptabilité lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées il positionne les objets selon son but et sa tâche courants il positionne les objets selon son but et sa tâche courants
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Adaptabilité Adaptabilité Familiarité Familiarité lutilisateur sentoure dun environnement familier lutilisateur sentoure dun environnement familier Propriétés ergonomiques [Scapin 86]
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores lutilisateur manipule directement les sources sonores lutilisateur manipule directement les sources sonores ex : déplacer-déposer une source sonore ex : déplacer-déposer une source sonore Propriétés ergonomiques [Scapin 86]
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores Entrée : manipulation de plusieurs objets physiques Entrée : manipulation de plusieurs objets physiques Sortie : présentation sonore de plusieurs sources dinformations Sortie : présentation sonore de plusieurs sources dinformations Propriétés ergonomiques [Scapin 86]
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores Observabilité des sources sonores : meilleure discrimination des sources Observabilité des sources sonores : meilleure discrimination des sources effet cocktail effet cocktail spatialisation spatialisation association objet-son -> meilleure mémorisation de lemplacement des sources sonores et de leur identité association objet-son -> meilleure mémorisation de lemplacement des sources sonores et de leur identité Propriétés ergonomiques [Scapin 86]
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : justification expérimentale Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Expérimentations Magicien dOz : motivation Validation dhypothèses Validation dhypothèses utilisabilité utilisabilité satisfaction des utilisateurs ? satisfaction des utilisateurs ? association naturelle entre objet et son ? association naturelle entre objet et son ? simplicité dutilisation ? simplicité dutilisation ? discrimination des sources sonores ? discrimination des sources sonores ? utilité utilité efficacité pour le suivi de sources sonores en arrière-plan ? efficacité pour le suivi de sources sonores en arrière-plan ?
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Expérimentations Magicien dOz : motivation Validation dhypothèses Validation dhypothèses Règles de conception pour la plate-forme Règles de conception pour la plate-forme nature du lien entre objets et sources dinformations nature du lien entre objets et sources dinformations actions possibles et souhaitables actions possibles et souhaitables caractéristiques souhaitées des sources sonores caractéristiques souhaitées des sources sonores
Mobilité Ubiquité 2004 Mobilité Ubiquité juin sujets 11 sujets non experts et non informaticiens non experts et non informaticiens âgés de 26 ans en moyenne âgés de 26 ans en moyenne recrutés par bouche à oreille recrutés par bouche à oreille Expérimentations Magicien dOz : protocole expérimental
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Son + image Contrôle des sources sonores Complice Sujet Magicien Son spatialisé 5.1 Expérimentations Magicien dOz : protocole expérimental
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Pression artérielle (alerte) Respiration (continu) Radio (continu) Météo (toutes les 5 minutes) Bébé à la maison (continu) Rôle dinfirmier Expérimentations Magicien dOz : sources sonores présentées aux sujets
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son effectué parmi un ensemble dobjets effectué parmi un ensemble dobjets Expérimentations Magicien dOz : phase de calibration
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées : modalités proposées : voix, gestes, manipulations de lobjet, combinaison de modalités voix, gestes, manipulations de lobjet, combinaison de modalités Expérimentations Magicien dOz : phase de calibration
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore : commandes pour chaque source sonore : arrêter / jouer le son arrêter / jouer le son augmenter / diminuer le volume augmenter / diminuer le volume faire venir le son de partout / de la direction de lobjet faire venir le son de partout / de la direction de lobjet Expérimentations Magicien dOz : phase de calibration
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore commandes pour chaque source sonore commandes pour toutes les sources sonores à la fois : commandes pour toutes les sources sonores à la fois : arrêter / jouer les sons arrêter / jouer les sons Expérimentations Magicien dOz : phase de calibration
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Appeler chez soi si anomalie bébé Saisir des feuilles de soin Appeler un médecin si anomalie pression/respiration Noter les variations de pression Répondre aux appels Expérimentations Magicien dOz : phase dexpérimentation
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Questionnaire avec réponses ouvertes et fermées Questionnaire avec réponses ouvertes et fermées Entretien à la fin de lexpérimentation Entretien à la fin de lexpérimentation Expérimentations Magicien dOz : recueil des résultats
Mobilité Ubiquité 2004 Mobilité Ubiquité juin des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction Expérimentations Magicien dOz : principaux résultats
Mobilité Ubiquité 2004 Mobilité Ubiquité juin des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose Expérimentations Magicien dOz : principaux résultats
Mobilité Ubiquité 2004 Mobilité Ubiquité juin des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils sont à laise avec les associations objets / sons ils sont à laise avec les associations objets / sons Expérimentations Magicien dOz : principaux résultats
Mobilité Ubiquité 2004 Mobilité Ubiquité juin des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction cependant cependant ils ont des difficultés à se souvenir des commandes choisies ils ont des difficultés à se souvenir des commandes choisies Expérimentations Magicien dOz : principaux résultats
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : règles de conception obtenues Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Association information-objet Association information-objet apparence de lobjet rappelant la sémantique de linformation apparence de lobjet rappelant la sémantique de linformation Expérimentations Magicien dOz : règles de conception obtenues
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Association information-objet Association information-objet Actions possibles Actions possibles objets suggérant des manipulations objets suggérant des manipulations 3D, taille de la main, boutons 3D, taille de la main, boutons manipulations possibles manipulations possibles manipulation de boutons, déplacement dans zones manipulation de boutons, déplacement dans zones tâches souhaitables tâches souhaitables rejouer dernière séquence de son rejouer dernière séquence de son jouer son de tous les haut-parleurs jouer son de tous les haut-parleurs Expérimentations Magicien dOz : règles de conception obtenues
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Association information-objet Association information-objet Actions possibles Actions possibles Sources sonores Sources sonores sons facilement identifiables sons facilement identifiables sons suivis émis ponctuellement sons suivis émis ponctuellement régulièrement / lors dévénements régulièrement / lors dévénements si la source est rendue muette par lutilisateur si la source est rendue muette par lutilisateur événements observables de manière non auditive événements observables de manière non auditive si la source est muette sans avoir été éteinte par lutilisateur si la source est muette sans avoir été éteinte par lutilisateur possibilité davoir un diagnostic de panne possibilité davoir un diagnostic de panne manipulation préconisée : secouer lobjet correspondant manipulation préconisée : secouer lobjet correspondant Expérimentations Magicien dOz : règles de conception obtenues
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : des règles de conception à la plateforme Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard]
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé :
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume max med. min off Radio FM Etat : actif Caméra + projecteur
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) max med. min off Radio FM Etat : actif Caméra + projecteur H
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : interaction avec les phearcons Surround Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) zone Surround zone Surround max med. min off Radio FM Etat : actif Caméra + projecteur H
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Processus de sonification et paramètres de spécification des Phearcons Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Expérimentations Phearcons Processus de sonification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Spécification Paramètres de spécification des phearcons Architecture logicielle
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Comment spécifier les Phearcons ? Source dinformations Objet physique Son Indiquer lobjet Indiquer lien vers la source ??? Paramètres caractérisant la transformation dinformations en sons (sonification)
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Comment obtenir des paramètres de conception pour la sonification ? Adaptation du processus de visualisation de Ed Chi [Chi 00] à la sonification Adaptation du processus de visualisation de Ed Chi [Chi 00] à la sonification structuration du processus de sonification en étapes dabstraction structuration du processus de sonification en étapes dabstraction identification de paramètres de conception pour chaque étape de sonification identification de paramètres de conception pour chaque étape de sonification
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Processus de sonification : transformation des données Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Image Suite de colonnes de pixels... Enchaînement de sonifications Transformation de temporisation Séquence de filtres
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Processus de sonification : transformation de temporisation Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Suite de colonnes de pixels...+ 7h -> 9h toutes les 5 minutes... Enchaînement de sonifications Instant de déclenchement Fréquence de répétition Motif de larrêt (automatique, manuel) Durée de lhistorique
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Niveau de gris = intensité sonore Ordonnée dans la colonne = hauteur sonore Séquence de sons... Processus de sonification : transformation de sonification Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Volume sonore absolu Algorithme de synthèse paramétrable (ex : vent, bulles) selon la structure de données Paramètres de sonification Paramètres de coordination
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Séquence de sons... Processus de sonification : transformation de diffusion Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Dispositif de diffusion (selon lalgorithme de synthèse)
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Expérimentations Phearcons Processus de sonification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Spécification Paramètres de spécification des phearcons Architecture logicielle Processus de sonification et architecture des Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] NF ANF CD PL PP Plateforme : architecture des Phearcons Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] Spécification dune Phearcon = configuration de chaque niveau de larche Spécification dune Phearcon = configuration de chaque niveau de larche NF ANF CD PL PP Plateforme : architecture des Phearcons Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Code de chaque Phearcon selon ARCH [UIMS92] Code de chaque Phearcon selon ARCH [UIMS92] Spécification dune Phearcon Spécification dune Phearcon Modularité Modularité NF ANF CD PL PP Plateforme : architecture des Phearcons Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plan de l'exposé Phearcons = Phicons + Earcons Phearcons = Phicons + Earcons Démarche de travail Démarche de travail Interaction avec les Phearcons Interaction avec les Phearcons Processus de sonification Processus de sonification Plateforme de spécification et dinteraction avec les Phearcons Plateforme de spécification et dinteraction avec les Phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Interaction avec les Phearcons Interaction avec les Phearcons règles obtenues par lexpérimentation magicien dOz règles obtenues par lexpérimentation magicien dOz Plateforme : récapitulatif
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Interaction avec les Phearcons Interaction avec les Phearcons Définition des Phearcons par lutilisateur Définition des Phearcons par lutilisateur Paramètres identifiés avec le processus de sonification Paramètres identifiés avec le processus de sonification Plateforme : récapitulatif Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de temporisation Enchaînement de sonifications Données
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Interaction avec les Phearcons Interaction avec les Phearcons Définition des Phearcons par lutilisateur Définition des Phearcons par lutilisateur Architecture dune Phearcon Architecture dune Phearcon parallèle entre processus de sonification et modèle darchitecture ARCH parallèle entre processus de sonification et modèle darchitecture ARCH Plateforme : récapitulatif
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Modifiabilité et modularité Modifiabilité et modularité architecture basée sur ARCH architecture basée sur ARCH Plateforme : propriétés du code
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Modifiabilité et modularité Modifiabilité et modularité Extensibilité Extensibilité langage interprété Tcl/Tk -> ajout dynamique dalgorithmes langage interprété Tcl/Tk -> ajout dynamique dalgorithmes Plateforme : propriétés du code
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Modifiabilité et modularité Modifiabilité et modularité Extensibilité Extensibilité Portabilité Portabilité langages et API multi-plateformes langages et API multi-plateformes Plateforme : propriétés du code
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Plateforme : expérimentations à venir Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de spécification des phearcons Plate-forme matérielle et logicielle dexécution et de spécification des phearcons
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Pertinence des paramètres de spécification Pertinence des paramètres de spécification rapidité de configuration rapidité de configuration nombre ditérations de configuration avant résultat satisfaisant nombre ditérations de configuration avant résultat satisfaisant Utilisation en conditions réelles pendant 2 mois Utilisation en conditions réelles pendant 2 mois utilisabilité, utilité utilisabilité, utilité Comparaison avec des interfaces « standard » Comparaison avec des interfaces « standard » efficacité des Phearcons pour le suivi dinformations efficacité des Phearcons pour le suivi dinformations efficacité de laudio par rapport à une interface visuelle efficacité de laudio par rapport à une interface visuelle Plateforme : expérimentations à venir
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Merci pour votre attention ! des questions ?
Mobilité Ubiquité 2004 Mobilité Ubiquité juin Lien dynamique entre le monde physique et le monde numérique Statique Dynamique Lien entre le monde physique et le monde numérique