La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002.

Présentations similaires


Présentation au sujet: "1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002."— Transcription de la présentation:

1 1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

2 2 Plan de l exposé zConcepts sur le son zUsage de sons dans les IHM zMon projet de recherche

3 3 De la vibration acoustique au signal sonore Son = sensation auditive engendrée par une vibration acoustique Enregistrement de la vibration par un capteur de pression => pression en fonction du temps = signal sonore assimilé à la vibration acoustique pression temps

4 4 Mécanismes de la « sensation auditive » (1/3) Mécanismes mis en jeu dans la sensation auditive : localisation de la source du son azimut = direction dans un plan horizontal élévation = direction dans un plan vertical distance diffusion, orientation, occlusion, dynamique des sources … => séparation de sources provenant dendroits différents processus actif : mouvements de la tête, « effet cocktail »

5 5 Mécanismes de la « sensation auditive » (2/3) Mécanismes mis en jeu dans la sensation auditive : identification de la source comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources => séparation des sources provenant du même endroit (« effet cocktail ») => classification des sources en catégories => assignation dune sémantique aux sources intervention des autres sens

6 6 Mécanismes de la « sensation auditive » (3/3) Mécanismes mis en jeu dans la sensation auditive : analyse qualitative du son hauteur(fréquence du signal sonore) timbre = texture sonore couleur(composition en fréquences) aspects dynamiques(attaque, extinction, évolution fréq.) intensité sonore(amplitude du signal sonore) composition des sons(enchaînement temporel, consonance)

7 7 Apport du son par rapport à la vision (1/2) Canal supplémentaire : plus dinformations à la fois décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés média d ambiance : disponible en permanence ne nécessite pas d action physique zone de perception plus étendue que devant un écran par ex. utile lorsque les autres canaux sont saturés ou indisponibles (ex : canal visuel : petits écrans, temps de brouillard, cockpits)

8 8 Apport du son par rapport à la vision (2/2) Outil d analyse Timbre + localisation = information multidimensionnelle => analyse de données multidimensionnelles Analyse de corrélations temporelles

9 9 Les limites du son Pas de possibilité darrêt sur image (par ex, difficile de comparer deux sons longs) Imprécision de lanalyse du son pour les sons non parlés (en général, nécessité de revenir à l information première) Fatigue pour les sons fréquents ou répétitifs => à utiliser avec modération et à propos

10 10 Représentations du son (1/3) Représentation temporelle = signal sonore +représentation utilisable pour lenregistrement et la synthèse accès à lintensité et au temps -pas d accès à la hauteur ni au timbre Solution : faire intervenir la fréquences amplitude temps

11 11 Représentations du son (2/3) Représentation fréquentielle +Représentation fidèle et réversible Opérations mathématiques facilitées Accès à la hauteur (= fréquence) -Disparition du temps Instabilité par rapport à la représentation temporelle Inadaptation au temps réel Solution : Faire intervenir à la fois le temps et la fréquence amplitude (complexe) fréquence

12 12 Représentations du son (3/3) Représentation temps-fréquence +« Visualisation » du son (hauteur, timbre, intensité, temps) -Représentations spécialisées : en visualisation (non linéaires : WignerVille…) en traitement du signal (linéaires : ondelettes…) Nécessité d un compromis dans les échelles temps-fréquence (Heisenberg) fréquence temps

13 13 Ex 1 : représentation temps- fréquence de sons périodiques Son de clarinette La fondamentale de ce son Fondamentale Deux processus perceptifs concurrents pour la hauteur : la fréquence de la fondamentale(ex : son de la fondamentale) lintervalle entre les harmoniques(ex : transistors) Harmoniques = fréquences multiples de la fondamentale

14 14 Ex 2 : représentation temps- fréquence de sons voisés i é è Fondamentale = hauteur du son (partie voisée) Formants déterminent la voyelle (leur répartition dépend du sexe et du registre) Partie bruitée instable, étalée en fréquences => hauteur ambiguë ptk Voyelles : Consonnes :

15 15 Ex 3 : représentation temps- fréquence dautres sons Son de percussion : étalé en fréquence, pas de sensation nette de hauteur Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur

16 16 Plan de l exposé zConcepts sur le son zUsage de sons dans les IHM zMon projet de recherche

17 17 Usage du son dans les IHM Son en entrée : information ou bruit traitement de signaux sonores Son en sortie : [Pressing, 1997] artistique(informatique musicale) environnemental(jeux, réalité virtuelle) informatif(monitoring, feedback, auralisation) Hors IHM : stockage d enregistrements, psycho-acoustique...

18 18 Classification des sons informatifs (1/4) Linformation de référence est sonore : multimédia Linformation nest pas sonore : traduction sonore de linformation = sonification Synthèse de parole

19 19 Classification des sons informatifs (2/4) Linformation de référence est sonore : multimédia Linformation nest pas sonore : traduction sonore de linformation = sonification Auditory Icons (Gaver) : sons analogiques +intuitif -difficile à réaliser techniquement, design

20 20 Classification des sons informatifs (3/4) Linformation de référence est sonore : multimédia Linformation nest pas sonore : traduction sonore de linformation = sonification Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire +simple à réaliser -nécessité dapprentissage, grammaire limitée

21 21 Classification des sons informatifs (4/4) Linformation de référence est sonore : multimédia Linformation nest pas sonore : traduction sonore de linformation = sonification Fonction de correspondance de paramètres : transfert de la structure de linformation vers la structure du son +sonification la plus proche de l information -paramètres structurels significatifs dans l info et dans le son difficiles à trouver, au cas par cas

22 22 Le son 3D dans les IHM La spatialisation de sons en IHM peut avoir pour but : de présenter plusieurs sources grâce à l effet cocktail de définir des sons réalistes(ex : réalité virtuelle) de permettre une métaphore(ex : métaphore de lhorloge, Brewster) de prolonger virtuellement le monde réel (ex : RA, systèmes pour aveugles)

23 23 Plan de l exposé zConcepts sur le son zUsage de sons dans les IHM zMon projet de recherche

24 24 Projet de recherche Earcons + Phicons = Phearcons Définitions : Earcons (Ear Icons, Blattner) : messages audio non parlés utilisés dans linterface machine- homme pour donner à lutilisateur des informations sur des objets, des interactions ou des opérations de lordinateur Phicons (Physical Icons) : objets physiques permettant la manipulation d objets virtuels

25 25 Projet de recherche : objectifs Concevoir et développer une plate-forme qui permet : Lassociation entre un concept du domaine et un objet physique Lien dynamique et explicite entre le monde numérique et le monde réel Lassociation entre un concept du domaine et une sonification Conception de linterface en sortie Lassociation entre un objet physique et une sonification = modification du rendu sonore par manipulation dobjets physiques Conception de l interface en entrée

26 26 Exemples dapplication Queue dimpression Niveau sonore chez Maman Trafic sur lA7 Niveau sonore cafet Tâches de monitoring Média dambiance

27 27 Exemples dapplication Tâches de monitoring Media dambiance + effet cocktail

28 28 Exemples dapplication Tâches de monitoring Intérêts : Manipulation des sources : mise en avant dune source quand nécessaire (exemple de la tasse à café) Mémorisation accrue car lassociation est faite par lutilisateur

29 29 Exemples dapplication Jeu augmenté Réalité augmentée Spatialisation du son traduisant le déplacement effectué par l enfant

30 30 Exemples dapplication Musique Objet physique = instrument de musique paramétrable

31 31 Plate-forme à concevoir Flexibilité Choix des objets physiques Reconnaissance de la position des objets dans l espace Choix des sources dinformations Liens avec des applications existantes Choix des sonifications

32 32 Plate-forme à concevoir Définition des liens entre objets physiques, sonification et concept du domaine : Lien (objet physique, concept du domaine) Multimodalité : paradigme du mets çà là Définition par parole = « cet objet est le niveau sonore dans la cafet » + geste de désignation de l objet Lien (concept du domaine, sonification) : ??? Lien (objet physique, sonification) : ???

33 33 Projet de recherche : étapes de travail Etat de lart : applications, sonification etc. Expérimentations fréquentes magicien dOz dans le playground Espace de conception : caractéristiques pertinentes Lien avec le processus de visualisation (thèse Fred) Conception et développement de la plate-forme

34 34 Projet de recherche : exemples de problèmes (1/2) Identifier des applications candidates ( , activité distante, cubes de jeu etc.) Critères de correspondance entre source et sonification : trouver les métaphores possibles par application quelles caractéristiques ?

35 35 Projet de recherche : exemples de problèmes (2/2) Conception de la plate-forme Comment spécifier une sonification ? Comment présenter une sonification ? Proposer un ensemble d objets prédéfinis

36 36 MERCI !

37 37 Annexe 1 : Vibration acoustique Vibration acoustique = succession rapide d ondes de compression et de dépression Source sonore Milieu ambiant (air, eau…) Zone comprimée Nouvelle zone comprimée Décompression Propagation de londe de compression... Dépression Nouvelle zone en dépression Recompression... Propagation de l onde de dépression

38 38 Annexe 2 : Perception d une source en 3D azimut source élévation direction de propagation orientation distance Azimut : déphasage interaural intensité interaurale Élévation : timbre (source connue ou en mouvement) Distance : atténuation intensité, BF, HF taux son direct / réverbéré Autres propriétés : orientation (sources directives), diffusion (sources réparties), occlusion ; Autres indices :dynamique de la source, mouvements de tête, couplage avec le visuel

39 39 Annexe 3 : Son 3D : dispositifs de sortie 1 canal : distance, élévation ; ex : hauts-parleurs directifs 2 canaux : azimut sur hauts-parleurs : stéréo : son entre les hauts-parleurs « décorrélation croisée » : son venant des côtés sur écouteurs : stéréo : son à lintérieur de la tête HRTF : filtrage des oreilles BRIR : propriétés acoustiques de la salle Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) : meilleure précision, meilleur réalisme, agrandissement de la zone de bonne écoute Rares systèmes de vraie 3D (CNMAT)


Télécharger ppt "1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002."

Présentations similaires


Annonces Google