La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction.

Présentations similaires


Présentation au sujet: "Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction."— Transcription de la présentation:

1

2 Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble

3 Journée des thèses - 29 janvier Plan de l'exposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions Contributions Etat davancement Etat davancement

4 Journée des thèses - 29 janvier Plan de l'exposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions Contributions Etat davancement Etat davancement

5 Journée des thèses - 29 janvier Monde physique Monde réel Monde non-tangible Monde numérique Monde virtuel Graphisme assisté par ordinateur : Graphisme assisté par ordinateur : Enrichissement de scènes virtuelles avec des images du monde réel Enrichissement de scènes virtuelles avec des images du monde réel Interaction Homme-Machine : Interaction Homme-Machine : Enrichissement du monde réel avec de linformatique Enrichissement du monde réel avec de linformatique Deux approches pour relier les deux mondes : Deux approches pour relier les deux mondes : Monde physique, monde numérique

6 Journée des thèses - 29 janvier Deux approches pour relier les deux mondes Deux approches pour relier les deux mondes … avec un objectif commun … avec un objectif commun Monde physique Monde réel Monde non-tangible Monde numérique Monde virtuel Monde physique, monde numérique

7 Journée des thèses - 29 janvier Monde physique, monde numérique : Objet de la tâche et Interaction Monde numérique Monde physique Objet de la tâche Avec objets physiques Interaction Avec objets numériques Interaction physique Interaction numérique Réalité augmentée Virtualité augmentée

8 Journée des thèses - 29 janvier Monde physique, monde numérique : Objet de la tâche et Interaction Monde numérique Monde physique Objet de la tâche Avec objets physiques Interaction Avec objets numériques Interaction physique Interaction numérique Réalité augmentée Virtualité augmentée Pixels miroir [Vernier 99]

9 Journée des thèses - 29 janvier Monde physique, monde numérique : Objet de la tâche et Interaction Monde numérique Monde physique Objet de la tâche Avec objets physiques Interaction Avec objets numériques Interaction physique Interaction numérique Réalité augmentée Virtualité augmentée Chirurgie guidée par limage [Grimson 96]

10 Journée des thèses - 29 janvier Avec objets physiques Monde physique Monde numérique Objet de la tâche Interaction Avec objets numériques Interaction numérique Réalité augmentée Virtualité augmentée Mon domaine : Virtualité Augmentée Interaction physique Interaction Entités numériques Entités physiques

11 Journée des thèses - 29 janvier Monde numérique Monde physique Objet de la tâche Avec objets physiques Interaction Avec objets numériques Interaction physique Interaction numérique Réalité augmentée Virtualité augmentée Mon domaine : Virtualité Augmentée et son en sortie Interaction Entités numériques Entités physiques sources sonores

12 Journée des thèses - 29 janvier Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles)

13 Journée des thèses - 29 janvier Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel situations mobiles situations mobiles interfaces pour aveugles interfaces pour aveugles retour dinformations dans les interfaces graphiques retour dinformations dans les interfaces graphiques

14 Journée des thèses - 29 janvier Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse informations sonores simultanées : « effet cocktail » informations sonores simultanées : « effet cocktail » alertes alertes données multidimensionnelles données multidimensionnelles motifs temporels motifs temporels

15 Journée des thèses - 29 janvier Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan sons en arrière-plan entendus uniquement sons en arrière-plan entendus uniquement lorsque lutilisateur choisit de sy concentrer lorsque lutilisateur choisit de sy concentrer lorsquun changement soudain intervient dans le son lorsquun changement soudain intervient dans le son suivi des sons darrière-plan + activité principale indépendante suivi des sons darrière-plan + activité principale indépendante

16 Journée des thèses - 29 janvier Intérêt du son en sortie en virtualité augmentée Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Manipulation de sons (non tangibles) avec des entités physiques (tangibles) Canal de communication supplémentaire pour alléger ou remplacer le système visuel Canal de communication supplémentaire pour alléger ou remplacer le système visuel Ouie = outil danalyse Ouie = outil danalyse Media dambiance : en arrière-plan Media dambiance : en arrière-plan Sentiment dimmersion Sentiment dimmersion ex : réalité virtuelle

17 Journée des thèses - 29 janvier Plan de lexposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions Contributions Etat davancement Etat davancement

18 Journée des thèses - 29 janvier Phicons + Earcons = Phearcons Phearcons = association Phearcons = association dobjets physiques (phicons, physical icons [Ishii]) dobjets physiques (phicons, physical icons [Ishii]) avec des sources sonores spatialisées (earcons [Blattner]) avec des sources sonores spatialisées (earcons [Blattner]) Queue dimpression Niveau sonore chez Maman Radio Niveau sonore cafet

19 Journée des thèses - 29 janvier Exemples dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan média dambiance média dambiance effet cocktail effet cocktail passage du premier plan à larrière-plan en approchant ou en éloignant lobjet physique correspondant passage du premier plan à larrière-plan en approchant ou en éloignant lobjet physique correspondant

20 Journée des thèses - 29 janvier Exemples dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Assistée par Ordinateur Composition Assistée par Ordinateur manipulation directe de sources sonores manipulation directe de sources sonores

21 Journée des thèses - 29 janvier Exemples dapplication Suivi dinformations en arrière-plan Suivi dinformations en arrière-plan Composition Assistée par Ordinateur Composition Assistée par Ordinateur Audioconférence Audioconférence intervenants représentés par leurs photos intervenants représentés par leurs photos possibilité d « éteindre » momentanément un locuteur possibilité d « éteindre » momentanément un locuteur passage dun groupe de discussion à un autre passage dun groupe de discussion à un autre

22 Journée des thèses - 29 janvier Objectifs Caractériser et évaluer : Caractériser et évaluer : linteraction avec les Phearcons linteraction avec les Phearcons la spécification des Phearcons par lutilisateur la spécification des Phearcons par lutilisateur

23 Journée des thèses - 29 janvier Objectifs Caractériser et évaluer : Caractériser et évaluer : linteraction avec les Phearcons linteraction avec les Phearcons la spécification des Phearcons par lutilisateur la spécification des Phearcons par lutilisateur Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et matérielle de spécification et dexécution des Phearcons Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et matérielle de spécification et dexécution des Phearcons

24 Journée des thèses - 29 janvier Travaux relatifs Utilisation dobjets physiques et de médias dambiance Utilisation dobjets physiques et de médias dambiance Tangible Bits, Ambient Room [Ishii] Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits." "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."

25 Journée des thèses - 29 janvier Travaux relatifs Utilisation dobjets physiques et de médias dambiance Utilisation dobjets physiques et de médias dambiance Tangible Bits, Ambient Room [Ishii] Tangible Bits, Ambient Room [Ishii] "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits." "The smooth transition of users' focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits."

26 Journée des thèses - 29 janvier Travaux relatifs Utilisation dobjets physiques et de médias dambiance Utilisation dobjets physiques et de médias dambiance Suivi dinformations sonores en arrière-plan Suivi dinformations sonores en arrière-plan [Conversy] : sources sonores écologiques [Conversy] : sources sonores écologiques AROMA [Pedersen] : conscience de groupe AROMA [Pedersen] : conscience de groupe [Malandrino] : état du réseau [Malandrino] : état du réseau

27 Journée des thèses - 29 janvier Classification des Phearcons Monde numérique Monde physique Avec objets physiques Avec objets numériques Interaction physique Interaction numérique Réalité augmentée Virtualité augmentée Objet de la tâche Interaction

28 Journée des thèses - 29 janvier Classification des Phearcons Lien entre le monde physique et le monde numérique Statique Dynamique Monde numérique Monde physique Avec objets physiques Avec objets numériques Objet de la tâche Interaction

29 Journée des thèses - 29 janvier Plan de l'exposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions Contributions Etat davancement Etat davancement

30 Journée des thèses - 29 janvier Démarche de travail Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction Spécification

31 Journée des thèses - 29 janvier Plan de l'exposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions : Contributions : interaction avec les phearcons : justification théorique et expérimentale interaction avec les phearcons : justification théorique et expérimentale spécification des phearcons : processus de sonification spécification des phearcons : processus de sonification plate-forme de définition et dexécution des phearcons plate-forme de définition et dexécution des phearcons Etat davancement Etat davancement

32 Journée des thèses - 29 janvier Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Interaction avec les Phearcons : justification théorique et expérimentale Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

33 Journée des thèses - 29 janvier Propriétés ergonomiques [Scapin 86] Adaptabilité Adaptabilité Lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées. Lutilisateur choisit les objets et les sons les plus pertinents par rapport aux informations diffusées. Il positionne les objets selon son but et sa tâche courants. Il positionne les objets selon son but et sa tâche courants.

34 Journée des thèses - 29 janvier Adaptabilité Adaptabilité Familiarité Familiarité Lutilisateur sentoure dun environnement familier. Lutilisateur sentoure dun environnement familier. Propriétés ergonomiques [Scapin 86]

35 Journée des thèses - 29 janvier Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Lutilisateur manipule directement les sources sonores. Lutilisateur manipule directement les sources sonores. ex : déplacer-déposer une source sonore ex : déplacer-déposer une source sonore Propriétés ergonomiques [Scapin 86]

36 Journée des thèses - 29 janvier Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores L utilisateur manipule plusieurs sources simultanément L utilisateur manipule plusieurs sources simultanément Il suit plusieurs sources d informations simultanément Il suit plusieurs sources d informations simultanément Propriétés ergonomiques [Scapin 86]

37 Journée des thèses - 29 janvier Adaptabilité Adaptabilité Familiarité Familiarité Concision de la manipulation des sources sonores Concision de la manipulation des sources sonores Interaction multifilaire avec les sources sonores Interaction multifilaire avec les sources sonores Observabilité des sources sonores par leur meilleure discrimination Observabilité des sources sonores par leur meilleure discrimination effet cocktail effet cocktail spatialisation spatialisation association objet-son -> meilleure mémorisation de la nature et de lemplacement des sources sonores association objet-son -> meilleure mémorisation de la nature et de lemplacement des sources sonores Propriétés ergonomiques [Scapin 86]

38 Journée des thèses - 29 janvier Expérimentations Magicien dOz : motivation Validation dhypothèses théoriques Validation dhypothèses théoriques utilisabilité utilisabilité satisfaction des utilisateurs ? satisfaction des utilisateurs ? association naturelle entre objet et son ? association naturelle entre objet et son ? simplicité dutilisation ? simplicité dutilisation ? discrimination des sources sonores ? discrimination des sources sonores ? utilité utilité efficacité pour le suivi de sources sonores en arrière-plan ? efficacité pour le suivi de sources sonores en arrière-plan ?

39 Journée des thèses - 29 janvier Expérimentations Magicien dOz : motivation Validation dhypothèses théoriques Validation dhypothèses théoriques Règles de conception pour une plate-forme Règles de conception pour une plate-forme nature du lien entre objets et sources dinformations nature du lien entre objets et sources dinformations actions possibles et souhaitables actions possibles et souhaitables caractéristiques souhaitées des sources sonores caractéristiques souhaitées des sources sonores

40 Journée des thèses - 29 janvier sujets 11 sujets non experts et non informaticiens non experts et non informaticiens âgés de 26 ans en moyenne âgés de 26 ans en moyenne recrutés par bouche à oreille recrutés par bouche à oreille Expérimentations Magicien dOz : protocole expérimental

41 Journée des thèses - 29 janvier Son + image Contrôle des sources sonores Complice Sujet Magicien Son spatialisé 5.1 Expérimentations Magicien dOz : protocole expérimental

42 Journée des thèses - 29 janvier Pression artérielle (alerte) Respiration (continu) Radio (continu) Météo (toutes les 5 minutes) Bébé à la maison (continu) Rôle dinfirmier Expérimentations Magicien dOz : sources sonores présentées aux sujets

43 Journée des thèses - 29 janvier Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son effectué parmi un ensemble dobjets effectué parmi un ensemble dobjets Expérimentations Magicien dOz : phase de calibration

44 Journée des thèses - 29 janvier Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées : modalités proposées : voix, gestes, manipulations de lobjet, combinaison de modalités voix, gestes, manipulations de lobjet, combinaison de modalités Expérimentations Magicien dOz : phase de calibration

45 Journée des thèses - 29 janvier Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore : commandes pour chaque source sonore : arrêter / jouer le son arrêter / jouer le son augmenter / diminuer le volume augmenter / diminuer le volume faire venir le son de partout / de la direction de la source faire venir le son de partout / de la direction de la source Expérimentations Magicien dOz : phase de calibration

46 Journée des thèses - 29 janvier Choix de lobjet à associer à chaque son Choix de lobjet à associer à chaque son Choix des commandes Choix des commandes modalités proposées modalités proposées commandes pour chaque source sonore commandes pour chaque source sonore commandes pour toutes les sources sonores à la fois : commandes pour toutes les sources sonores à la fois : arrêter / jouer les sons arrêter / jouer les sons Expérimentations Magicien dOz : phase de calibration

47 Journée des thèses - 29 janvier Appeler chez soi si anomalie bébé Saisir des feuilles de soin Appeler un médecin si anomalie pression/respiration Noter les variations de pression Répondre aux appels Expérimentations Magicien dOz : phase dexpérimentation

48 Journée des thèses - 29 janvier Questionnaire avec réponses ouvertes et fermées Questionnaire avec réponses ouvertes et fermées Entretien à la fin de lexpérimentation Entretien à la fin de lexpérimentation Expérimentations Magicien dOz : recueil des résultats

49 Journée des thèses - 29 janvier des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction Expérimentations Magicien dOz : principaux résultats

50 Journée des thèses - 29 janvier des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose Expérimentations Magicien dOz : principaux résultats

51 Journée des thèses - 29 janvier des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils apprécient de pouvoir suivre des informations tout en faisant autre chose ils sont à laise avec les associations objets / sons ils sont à laise avec les associations objets / sons Expérimentations Magicien dOz : principaux résultats

52 Journée des thèses - 29 janvier des 11 sujets apprécient ce mode dinteraction 10 des 11 sujets apprécient ce mode dinteraction cependant cependant ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis) ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis) Expérimentations Magicien dOz : principaux résultats

53 Journée des thèses - 29 janvier Association information-objet Association information-objet apparence de lobjet rappelant la sémantique de linformation apparence de lobjet rappelant la sémantique de linformation Expérimentations Magicien dOz : règles de conception déduites

54 Journée des thèses - 29 janvier Association information-objet Association information-objet Actions possibles Actions possibles objets suggérant des manipulations objets suggérant des manipulations 3D, taille de la main, boutons 3D, taille de la main, boutons manipulations possibles manipulations possibles manipulation de boutons, déplacement dans zones manipulation de boutons, déplacement dans zones tâches souhaitables tâches souhaitables rejouer dernière séquence de son rejouer dernière séquence de son jouer son de tous les haut-parleurs jouer son de tous les haut-parleurs Expérimentations Magicien dOz : règles de conception déduites

55 Journée des thèses - 29 janvier Association information-objet Association information-objet Actions possibles Actions possibles Sources sonores Sources sonores sons facilement identifiables sons facilement identifiables sons suivis émis ponctuellement sons suivis émis ponctuellement régulièrement / lors dévénements régulièrement / lors dévénements si la source est rendue muette par lutilisateur si la source est rendue muette par lutilisateur événements observables de manière non auditive événements observables de manière non auditive si la source est muette sans avoir été éteinte par lutilisateur si la source est muette sans avoir été éteinte par lutilisateur possibilité davoir un diagnostic de panne possibilité davoir un diagnostic de panne manipulation préconisée : secouer lobjet correspondant manipulation préconisée : secouer lobjet correspondant Expérimentations Magicien dOz : règles de conception déduites

56 Journée des thèses - 29 janvier Spécification des phearcons Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Expérimentations Phearcons Processus de sonification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Spécification Paramètres de conception pour la spécification Architecture logicielle

57 Journée des thèses - 29 janvier Comment spécifier les Phearcons ? Source dinformations Objet physique Son Indiquer lobjet Indiquer lien vers la source ??? Paramètres caractérisant la transformation dinformations en sons (sonification)

58 Journée des thèses - 29 janvier Comment obtenir des paramètres de conception pour la sonification ? Adapter le processus de visualisation de Ed Chi [Chi 00] à la sonification Adapter le processus de visualisation de Ed Chi [Chi 00] à la sonification structuration du processus de sonification en étapes dabstraction structuration du processus de sonification en étapes dabstraction identification de paramètres de conception pour chaque étape de sonification identification de paramètres de conception pour chaque étape de sonification

59 Journée des thèses - 29 janvier Processus de visualisation de Chi : transformation des données Données CLIPS Ensemble de documents Abstraction analytique : Vue sur les données Transformation des données Liste de documents CLIPS Abstraction de visualisation : Espace visuel abstrait Transformation de visualisation Vue : Vue sur lespace Transformation de réalisation visuelle

60 Journée des thèses - 29 janvier Liste de documents CLIPS Espace 2D CLIPS Abstraction analytique : Vue sur les données Transformation des données Abstraction de visualisation : Espace visuel abstrait Transformation de visualisation Vue : Vue sur lespace Transformation de réalisation visuelle Processus de visualisation de Chi : transformation de visualisation Données

61 Journée des thèses - 29 janvier Vue déformée Processus de visualisation de Chi : transformation de réalisation visuelle Abstraction analytique : Vue sur les données Transformation des données Abstraction de visualisation : Espace visuel abstrait Transformation de visualisation Vue : Vue sur lespace Transformation de réalisation visuelle Espace 2D CLIPS Données

62 Journée des thèses - 29 janvier Processus de sonification : transformation des données Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Image Suite de colonnes de pixels...

63 Journée des thèses - 29 janvier Niveau de gris = intensité Ordonnée = hauteur Séquence de sons... Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Processus de sonification : transformation de sonification

64 Journée des thèses - 29 janvier Séquence de sons... Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Processus de sonification : transformation de diffusion

65 Journée des thèses - 29 janvier Transformation des données Commun avec la visualisation Commun avec la visualisation Dépendant Dépendant des données des données de la sémantique des données de la sémantique des données de la tâche de lutilisateur final de la tâche de lutilisateur final ex : AROMA [Pedersen] ex : AROMA [Pedersen] Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait

66 Journée des thèses - 29 janvier Espace sonore abstrait Espace sonore abstrait = espace euclidien = espace euclidien = 1 point sans spatialisation = 1 point sans spatialisation son abstrait = son abstrait = durée durée traits acoustiques variant pendant cette durée traits acoustiques variant pendant cette durée Transformation de sonification : espace sonore abstrait Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait

67 Journée des thèses - 29 janvier Transformation de sonification : deux niveaux de sonification Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 donnée 1 son

68 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons 1 ens. données 1 ens. sons Transformation de sonification : deux niveaux de sonification

69 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons Transformation de sonification : représentation dun ensemble de données

70 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 donnée 1 son Son spatialisé : Son spatialisé : sémantique position sémantique du son sémantique position sémantique du son spatialisation analogique par rapport à un phénomène spatialisation analogique par rapport à un phénomène sonore : cathédrale sonore : cathédrale non sonore : Diary in the Sky [Walker] non sonore : Diary in the Sky [Walker] Transformation de sonification : représentation dune donnée

71 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait RDV à 15h Transformation de sonification : représentation dune donnée Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 donnée 1 son

72 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons 1 ens. données 1 ens. sons Transformation de sonification : représentation dun ensemble de données

73 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de sonification : représentation dun ensemble de données Même endroit Endroits différents SimultanéAlterné Colonne de pixels Son stéréo Diary in the Sky Synthèse vocale Espace Temps Espace sonore abstrait Espace sonore abstrait Deux niveaux de sonification Deux niveaux de sonification 1 donnée 1 son 1 ens. données 1 ens. sons 1 ens. données 1 ens. sons Coordination des sons de lensemble de sons Coordination des sons de lensemble de sons

74 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Transformation en 4 étapes Transformation en 4 étapes (i) choix du point de vue sur lespace sonore abstrait (ii) espace sonore -> paramètres pour le dispositif de rendu (iii) paramètres pour le dispositif de rendu -> signal sonore (iv) signal sonore -> son physique

75 Journée des thèses - 29 janvier Données Abstraction analytique : Vue sur les données Transformation des données Rendu sonore Transformation de diffusion Transformation de sonification Abstraction de sonification : Espace sonore abstrait Transformation de diffusion Transformation en 4 étapes Transformation en 4 étapes Dispositif physique Dispositif physique précision sonore précision sonore degré de spatialité degré de spatialité répartition géom. des haut-parleurs répartition géom. des haut-parleurs degré de partage degré de partage liberté de déplacement liberté de déplacement degré dimmersion degré dimmersion ex : Soundbeam Neckset [Sawhney] ex : Soundbeam Neckset [Sawhney]

76 Journée des thèses - 29 janvier Earcons de Blattner Earcons série de Brewster Earcons parall. de Brewster Param. Système Sonnerie (dép. de lappelant) Sonnerie (indép. de lappelant) Oui Gram- maire Non... Données à sonifier X appelle Quelquun appelle Synthétique Musical Nature du son... Alterné Simultané Simultané / alterné... Exemple : la catégorie des « earcons » Exemple : la catégorie des « earcons » Contributions (a) classification

77 Journée des thèses - 29 janvier Identification détapes de conception Identification détapes de conception Contributions (b) aide à la conception

78 Journée des thèses - 29 janvier Identification détapes de conception Identification détapes de conception Identification de paramètres de conception à chaque étape : Identification de paramètres de conception à chaque étape : guide pour la conception guide pour la conception fondation pour intégrer et générer des heuristiques de conception fondation pour intégrer et générer des heuristiques de conception sonifications dépendantes du contexte sonifications dépendantes du contexte Contributions (b) aide à la conception

79 Journée des thèses - 29 janvier Paramètres identifiés permettant la spécification des sources sonores Paramètres identifiés permettant la spécification des sources sonores spécification grâce à une interface graphique : la plateforme en cours de développement spécification grâce à une interface graphique : la plateforme en cours de développement Spécification des Phearcons

80 Journée des thèses - 29 janvier Plate-forme logicielle et matérielle de spécification et dexécution Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons

81 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard]

82 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Caméra + projecteur Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé :

83 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées

84 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Caméra + projecteur Radio FM Etat : actif Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué

85 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume max med. min off Radio FM Etat : actif Caméra + projecteur

86 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) max med. min off Radio FM Etat : actif Caméra + projecteur H

87 Journée des thèses - 29 janvier Plateforme en cours de développement : interaction avec les phearcons Surround Suivi des objets : vision par ordinateur [Bérard] Suivi des objets : vision par ordinateur [Bérard] Si objet déplacé : Si objet déplacé : informations contextuelles projetées informations contextuelles projetées son caractéristique joué son caractéristique joué 4 zones de volume 4 zones de volume zone Historique (H) zone Historique (H) zone Surround zone Surround max med. min off Radio FM Etat : actif Caméra + projecteur H

88 Journée des thèses - 29 janvier Plateforme en cours de développement : spécification des phearcons

89 Journée des thèses - 29 janvier Plateforme en cours de développement : spécification des phearcons

90 Journée des thèses - 29 janvier Plateforme en cours de développement : spécification des phearcons

91 Journée des thèses - 29 janvier Plateforme en cours de développement : spécification des phearcons

92 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] NF ANF CD PL PP Plateforme en cours de développement : spécification

93 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] NF ANF CD PL PP Plateforme en cours de développement : spécification

94 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] NF ANF CD PL PP Plateforme en cours de développement : spécification

95 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] NF ANF CD PL PP Plateforme en cours de développement : spécification

96 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] Données Abstraction analytique : Vue sur les données Abstraction desonification : Espace sonore abstrait Rendu sonore Transformation des données Transformation desonification Transformation de diffusion NF ANF CD PL PP Plateforme en cours de développement : spécification

97 Journée des thèses - 29 janvier Code de chaque Phearcon généré selon ARCH [UIMS92] Code de chaque Phearcon généré selon ARCH [UIMS92] Spécification dune Phearcon = configuration de chaque niveau de larche Spécification dune Phearcon = configuration de chaque niveau de larche Données Abstraction analytique : Vue sur les données Abstraction desonification : Espace sonore abstrait Rendu sonore Transformation des données Transformation desonification Transformation de diffusion NF ANF CD PL PP Plateforme en cours de développement : spécification

98 Journée des thèses - 29 janvier Plan de l'exposé Domaine : virtualité augmentée Domaine : virtualité augmentée Sujet : phearcons Sujet : phearcons Démarche de travail Démarche de travail Contributions Contributions Etat davancement Etat davancement

99 Journée des thèses - 29 janvier Etat davancement Spécification Expérimentations Phearcons Processus de sonification Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons en cours Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction

100 Journée des thèses - 29 janvier Etat davancement Plateforme en cours de développement Plateforme en cours de développement tracking visuel :ok tracking visuel :ok routines sonores :ok routines sonores :ok interface graphique de spécification :fin en février interface graphique de spécification :fin en février

101 Journée des thèses - 29 janvier Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai Expérimentations utilisant notre plateforme : mars à mai utilité des paramètres de sonification utilité des paramètres de sonification sonification dinformations contextuelles avec Gaëtan Rey sonification dinformations contextuelles avec Gaëtan Rey ex : activité de groupe ex : activité de groupe utilisation de longue durée (2 mois) avec des sources distantes utilisation de longue durée (2 mois) avec des sources distantes

102 Journée des thèses - 29 janvier Ce qui reste à faire... Expérimentations utilisant notre plateforme : mars à mai Expérimentations utilisant notre plateforme : mars à mai Rédaction du mémoire : mai à août Rédaction du mémoire : mai à août envoi de la thèse le 31 août, soutenance fin octobre envoi de la thèse le 31 août, soutenance fin octobre

103 Journée des thèses - 29 janvier Publications Justification théorique : propriétés ergonomiques Justification expérimentale : magicien doz Règles de conception pour linteraction Interaction Spécification Expérimentations Phearcons Architecture logicielle Paramètres de conception pour la spécification Plate-forme matérielle et logicielle dexécution et de spécification des phearcons Doct. cons. CHI 04 (soumis) ICAD 04 (soumis) Ubiquité Mobilité 04 (soumis) Processus de sonification IHM 02ICAD 03 début mars informations contextuelles InfoVis 04 mars-mai : utilité paramètres sonification utilité paramètres sonification utilisation longue durée utilisation longue durée

104 Journée des thèses - 29 janvier Merci pour votre attention ! des questions ?

105 Journée des thèses - 29 janvier Association information-objet Association information-objet apparence de lobjet rappelant la sémantique de linformation (charge informationnelle) apparence de lobjet rappelant la sémantique de linformation (charge informationnelle) Expérimentations Magicien dOz : règles de conception déduites

106 Journée des thèses - 29 janvier Association information-objet Association information-objet Actions possibles Actions possibles objets suggérant des manipulations objets suggérant des manipulations 3D, taille de la main, boutons (affordance) 3D, taille de la main, boutons (affordance) manipulations possibles manipulations possibles manipulation de boutons, déplacement dans zones (concision + charge informationnelle) manipulation de boutons, déplacement dans zones (concision + charge informationnelle) tâches souhaitables tâches souhaitables rejouer dernière séquence de son (observabilité) rejouer dernière séquence de son (observabilité) jouer son de tous les haut-parleurs ("satisfaction") jouer son de tous les haut-parleurs ("satisfaction") Expérimentations Magicien dOz : règles de conception déduites

107 Journée des thèses - 29 janvier Association information-objet Association information-objet Actions possibles Actions possibles Sources sonores (observabilité + honnêteté) Sources sonores (observabilité + honnêteté) sons facilement identifiables sons facilement identifiables sons suivis émis ponctuellement sons suivis émis ponctuellement régulièrement / lors dévénements régulièrement / lors dévénements si la source est rendue muette par lutilisateur si la source est rendue muette par lutilisateur événements observables de manière non auditive (équivalence) événements observables de manière non auditive (équivalence) si la source est muette sans avoir été éteinte par lutilisateur si la source est muette sans avoir été éteinte par lutilisateur possibilité d avoir un diagnostic de panne possibilité d avoir un diagnostic de panne manipulation préconisée : secouer lobjet correspondant manipulation préconisée : secouer lobjet correspondant Expérimentations Magicien dOz : règles de conception déduites


Télécharger ppt "Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction."

Présentations similaires


Annonces Google