Sylvain Daudé Equipe IIHM 7 mars 2002

Présentation au sujet: "Sylvain Daudé Equipe IIHM 7 mars 2002"— Transcription de la présentation:

1 Sylvain Daudé Equipe IIHM 7 mars 2002
Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

2 Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM
Mon projet de recherche

3 De la vibration acoustique au signal sonore
Son = sensation auditive engendrée par une vibration acoustique Enregistrement de la vibration par un capteur de pression => pression en fonction du temps = signal sonore assimilé à la vibration acoustique pression temps

4 Mécanismes de la « sensation auditive » (1/3)
Mécanismes mis en jeu dans la sensation auditive : localisation de la source du son azimut = direction dans un plan horizontal élévation = direction dans un plan vertical distance diffusion, orientation, occlusion, dynamique des sources … => séparation de sources provenant d’endroits différents processus actif : mouvements de la tête, « effet cocktail »

5 Mécanismes de la « sensation auditive » (2/3)
Mécanismes mis en jeu dans la sensation auditive : identification de la source comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources => séparation des sources provenant du même endroit (« effet cocktail ») => classification des sources en catégories => assignation d’une sémantique aux sources intervention des autres sens

6 Mécanismes de la « sensation auditive » (3/3)
Mécanismes mis en jeu dans la sensation auditive : analyse qualitative du son hauteur (fréquence du signal sonore) timbre = texture sonore couleur (composition en fréquences) aspects dynamiques (attaque, extinction, évolution fréq.) intensité sonore (amplitude du signal sonore) composition des sons (enchaînement temporel, consonance)

7 Apport du son par rapport à la vision (1/2)
Canal supplémentaire : plus d’informations à la fois décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés média d ’ambiance : disponible en permanence ne nécessite pas d ’action physique zone de perception plus étendue que devant un écran par ex. utile lorsque les autres canaux sont saturés ou indisponibles (ex : canal visuel : petits écrans, temps de brouillard, cockpits)

8 Apport du son par rapport à la vision (2/2)
Outil d ’analyse Timbre + localisation = information multidimensionnelle => analyse de données multidimensionnelles Analyse de corrélations temporelles

9 Les limites du son Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs) Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première) Fatigue pour les sons fréquents ou répétitifs => à utiliser avec modération et à propos

10 Représentations du son (1/3)
Représentation temporelle = signal sonore + représentation utilisable pour l’enregistrement et la synthèse accès à l’intensité et au temps - pas d ’accès à la hauteur ni au timbre Solution : faire intervenir la fréquences amplitude temps

11 Représentations du son (2/3)
Représentation fréquentielle + Représentation fidèle et réversible Opérations mathématiques facilitées Accès à la hauteur (= fréquence) - Disparition du temps Instabilité par rapport à la représentation temporelle Inadaptation au temps réel Solution : Faire intervenir à la fois le temps et la fréquence amplitude (complexe) fréquence

12 Représentations du son (3/3)
Représentation temps-fréquence + « Visualisation » du son (hauteur, timbre, intensité, temps) - Représentations spécialisées : en visualisation (non linéaires : WignerVille…) en traitement du signal (linéaires : ondelettes…) Nécessité d ’un compromis dans les échelles temps-fréquence (Heisenberg) fréquence temps

13 Ex 1 : représentation temps-fréquence de sons périodiques
Harmoniques = fréquences multiples de la fondamentale Fondamentale Son de clarinette La fondamentale de ce son Deux processus perceptifs concurrents pour la hauteur : la fréquence de la fondamentale (ex : son de la fondamentale) l’intervalle entre les harmoniques (ex : transistors)

14 Ex 2 : représentation temps-fréquence de sons voisés
Voyelles : Formants déterminent la voyelle (leur répartition dépend du sexe et du registre) Fondamentale = hauteur du son (partie voisée) i é è Consonnes : Partie bruitée instable, étalée en fréquences => hauteur ambiguë p t k

15 Ex 3 : représentation temps-fréquence d’autres sons
Son de percussion : étalé en fréquence, pas de sensation nette de hauteur Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur

16 Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM
Mon projet de recherche

17 Usage du son dans les IHM
Son en entrée : information ou bruit traitement de signaux sonores Son en sortie : [Pressing, 1997] artistique (informatique musicale) environnemental (jeux, réalité virtuelle) informatif (monitoring, feedback, auralisation) Hors IHM : stockage d ’enregistrements, psycho-acoustique...

18 Classification des sons informatifs (1/4)
L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Synthèse de parole

19 Classification des sons informatifs (2/4)
L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Auditory Icons (Gaver) : sons analogiques + intuitif - difficile à réaliser techniquement, design

20 Classification des sons informatifs (3/4)
L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire + simple à réaliser - nécessité d’apprentissage, grammaire limitée

21 Classification des sons informatifs (4/4)
L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Fonction de correspondance de paramètres : transfert de la structure de l’information vers la structure du son + sonification la plus proche de l ’information - paramètres structurels significatifs dans l ’info et dans le son difficiles à trouver, au cas par cas

22 Le son 3D dans les IHM La spatialisation de sons en IHM peut avoir pour but : de présenter plusieurs sources grâce à l ’effet cocktail de définir des sons réalistes (ex : réalité virtuelle) de permettre une métaphore (ex : métaphore de l’horloge, Brewster) de prolonger virtuellement le monde réel (ex : RA, systèmes pour aveugles)

23 Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM
Mon projet de recherche

24 Projet de recherche Earcons + Phicons = Phearcons Définitions :
Earcons (Ear Icons, Blattner) : messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur Phicons (Physical Icons) : objets physiques permettant la manipulation d ’objets virtuels

25 Projet de recherche : objectifs
Concevoir et développer une plate-forme qui permet : L’association entre un concept du domaine et un objet physique Lien dynamique et explicite entre le monde numérique et le monde réel L’association entre un concept du domaine et une “sonification” Conception de l’interface en sortie L’association entre un objet physique et une “sonification” = modification du rendu sonore par manipulation d’objets physiques Conception de l ’interface en entrée

26 Exemples d’application
Tâches de “monitoring” Média d’ambiance Trafic sur l’A7 Niveau sonore chez Maman Niveau sonore cafet Queue d’impression

27 Exemples d’application
Tâches de “monitoring” Media d’ambiance + effet cocktail

28 Exemples d’application
Tâches de “monitoring” Intérêts : Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café) Mémorisation accrue car l’association est faite par l’utilisateur

29 Exemples d’application
Jeu augmenté Réalité augmentée Spatialisation du son traduisant le déplacement effectué par l ’enfant

30 Exemples d’application
Musique Objet physique = instrument de musique paramétrable

31 Plate-forme à concevoir
Flexibilité Choix des objets physiques Reconnaissance de la position des objets dans l ’espace Choix des sources d’informations Liens avec des applications existantes Choix des sonifications

32 Plate-forme à concevoir
Définition des liens entre objets physiques, sonification et concept du domaine : Lien (objet physique, concept du domaine) Multimodalité : paradigme du mets çà là Définition par parole = « cet objet est le niveau sonore dans la cafet » + geste de désignation de l ’objet Lien (concept du domaine, sonification) : ??? Lien (objet physique, sonification) : ???

33 Projet de recherche : étapes de travail
Etat de l’art : applications, sonification etc. Expérimentations fréquentes magicien d’Oz dans le playground Espace de conception : caractéristiques pertinentes Lien avec le processus de visualisation (thèse Fred) Conception et développement de la plate-forme

34 Projet de recherche : exemples de problèmes (1/2)
Identifier des applications candidates ( , activité distante, cubes de jeu etc.) Critères de correspondance entre source et sonification : trouver les métaphores possibles par application quelles caractéristiques ?

35 Projet de recherche : exemples de problèmes (2/2)
Conception de la plate-forme Comment spécifier une sonification ? Comment présenter une sonification ? Proposer un ensemble d ’objets prédéfinis

36 MERCI !

37 Annexe 1 : Vibration acoustique
Vibration acoustique = succession rapide d ’ondes de compression et de dépression Décompression Zone comprimée Nouvelle zone comprimée ... Source sonore Milieu ambiant (air, eau…) Propagation de l’onde de compression Dépression Nouvelle zone en dépression Recompression ... Propagation de l ’onde de dépression

38 Annexe 2 : Perception d ’une source en 3D
Azimut : déphasage interaural  intensité interaurale Élévation :  timbre (source connue ou en mouvement) Distance : atténuation intensité, BF, HF taux son direct / réverbéré direction de propagation orientation distance azimut source élévation Autres propriétés : orientation (sources directives), diffusion (sources réparties), occlusion ; Autres indices : dynamique de la source, mouvements de tête, couplage avec le visuel

39 Annexe 3 : Son 3D : dispositifs de sortie
1 canal : distance, élévation ; ex : hauts-parleurs directifs 2 canaux : azimut sur hauts-parleurs : stéréo : son entre les hauts-parleurs « décorrélation croisée » : son venant des côtés sur écouteurs : stéréo : son à l’intérieur de la tête HRTF : filtrage des oreilles BRIR : propriétés acoustiques de la salle Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) : meilleure précision, meilleur réalisme, agrandissement de la zone de bonne écoute Rares systèmes de vraie 3D (CNMAT)