Sylvain Daudé Equipe IIHM 7 mars 2002 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM Mon projet de recherche

De la vibration acoustique au signal sonore Son = sensation auditive engendrée par une vibration acoustique Enregistrement de la vibration par un capteur de pression => pression en fonction du temps = signal sonore assimilé à la vibration acoustique pression temps

Mécanismes de la « sensation auditive » (1/3) Mécanismes mis en jeu dans la sensation auditive : localisation de la source du son azimut = direction dans un plan horizontal élévation = direction dans un plan vertical distance diffusion, orientation, occlusion, dynamique des sources … => séparation de sources provenant d’endroits différents processus actif : mouvements de la tête, « effet cocktail »

Mécanismes de la « sensation auditive » (2/3) Mécanismes mis en jeu dans la sensation auditive : identification de la source comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources => séparation des sources provenant du même endroit (« effet cocktail ») => classification des sources en catégories => assignation d’une sémantique aux sources intervention des autres sens

Mécanismes de la « sensation auditive » (3/3) Mécanismes mis en jeu dans la sensation auditive : analyse qualitative du son hauteur (fréquence du signal sonore) timbre = texture sonore couleur (composition en fréquences) aspects dynamiques (attaque, extinction, évolution fréq.) intensité sonore (amplitude du signal sonore) composition des sons (enchaînement temporel, consonance)

Apport du son par rapport à la vision (1/2) Canal supplémentaire : plus d’informations à la fois décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés média d ’ambiance : disponible en permanence ne nécessite pas d ’action physique zone de perception plus étendue que devant un écran par ex. utile lorsque les autres canaux sont saturés ou indisponibles (ex : canal visuel : petits écrans, temps de brouillard, cockpits)

Apport du son par rapport à la vision (2/2) Outil d ’analyse Timbre + localisation = information multidimensionnelle => analyse de données multidimensionnelles Analyse de corrélations temporelles

Les limites du son Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs) Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première) Fatigue pour les sons fréquents ou répétitifs => à utiliser avec modération et à propos

Représentations du son (1/3) Représentation temporelle = signal sonore + représentation utilisable pour l’enregistrement et la synthèse accès à l’intensité et au temps - pas d ’accès à la hauteur ni au timbre Solution : faire intervenir la fréquences amplitude temps

Représentations du son (2/3) Représentation fréquentielle + Représentation fidèle et réversible Opérations mathématiques facilitées Accès à la hauteur (= fréquence) - Disparition du temps Instabilité par rapport à la représentation temporelle Inadaptation au temps réel Solution : Faire intervenir à la fois le temps et la fréquence amplitude (complexe) fréquence

Représentations du son (3/3) Représentation temps-fréquence + « Visualisation » du son (hauteur, timbre, intensité, temps) - Représentations spécialisées : en visualisation (non linéaires : WignerVille…) en traitement du signal (linéaires : ondelettes…) Nécessité d ’un compromis dans les échelles temps-fréquence (Heisenberg) fréquence temps

Ex 1 : représentation temps-fréquence de sons périodiques Harmoniques = fréquences multiples de la fondamentale Fondamentale Son de clarinette La fondamentale de ce son Deux processus perceptifs concurrents pour la hauteur : la fréquence de la fondamentale (ex : son de la fondamentale) l’intervalle entre les harmoniques (ex : transistors)

Ex 2 : représentation temps-fréquence de sons voisés Voyelles : Formants déterminent la voyelle (leur répartition dépend du sexe et du registre) Fondamentale = hauteur du son (partie voisée) i é è Consonnes : Partie bruitée instable, étalée en fréquences => hauteur ambiguë p t k

Ex 3 : représentation temps-fréquence d’autres sons Son de percussion : étalé en fréquence, pas de sensation nette de hauteur Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur

Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM Mon projet de recherche

Usage du son dans les IHM Son en entrée : information ou bruit traitement de signaux sonores Son en sortie : [Pressing, 1997] artistique (informatique musicale) environnemental (jeux, réalité virtuelle) informatif (monitoring, feedback, auralisation) Hors IHM : stockage d ’enregistrements, psycho-acoustique...

Classification des sons informatifs (1/4) L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Synthèse de parole

Classification des sons informatifs (2/4) L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Auditory Icons (Gaver) : sons analogiques + intuitif - difficile à réaliser techniquement, design

Classification des sons informatifs (3/4) L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire + simple à réaliser - nécessité d’apprentissage, grammaire limitée

Classification des sons informatifs (4/4) L’information de référence est sonore : multimédia L’information n’est pas sonore : traduction sonore de l’information = sonification Fonction de correspondance de paramètres : transfert de la structure de l’information vers la structure du son + sonification la plus proche de l ’information - paramètres structurels significatifs dans l ’info et dans le son difficiles à trouver, au cas par cas

Le son 3D dans les IHM La spatialisation de sons en IHM peut avoir pour but : de présenter plusieurs sources grâce à l ’effet cocktail de définir des sons réalistes (ex : réalité virtuelle) de permettre une métaphore (ex : métaphore de l’horloge, Brewster) de prolonger virtuellement le monde réel (ex : RA, systèmes pour aveugles)

Plan de l ’exposé Concepts sur le son Usage de sons dans les IHM Mon projet de recherche

Projet de recherche Earcons + Phicons = Phearcons Définitions : Earcons (Ear Icons, Blattner) : messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur Phicons (Physical Icons) : objets physiques permettant la manipulation d ’objets virtuels

Projet de recherche : objectifs Concevoir et développer une plate-forme qui permet : L’association entre un concept du domaine et un objet physique Lien dynamique et explicite entre le monde numérique et le monde réel L’association entre un concept du domaine et une “sonification” Conception de l’interface en sortie L’association entre un objet physique et une “sonification” = modification du rendu sonore par manipulation d’objets physiques Conception de l ’interface en entrée

Exemples d’application Tâches de “monitoring” Média d’ambiance Trafic sur l’A7 Niveau sonore chez Maman Niveau sonore cafet Queue d’impression

Exemples d’application Tâches de “monitoring” Media d’ambiance + effet cocktail

Exemples d’application Tâches de “monitoring” Intérêts : Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café) Mémorisation accrue car l’association est faite par l’utilisateur

Exemples d’application Jeu augmenté Réalité augmentée Spatialisation du son traduisant le déplacement effectué par l ’enfant

Exemples d’application Musique Objet physique = instrument de musique paramétrable

Plate-forme à concevoir Flexibilité Choix des objets physiques Reconnaissance de la position des objets dans l ’espace Choix des sources d’informations Liens avec des applications existantes Choix des sonifications

Plate-forme à concevoir Définition des liens entre objets physiques, sonification et concept du domaine : Lien (objet physique, concept du domaine) Multimodalité : paradigme du mets çà là Définition par parole = « cet objet est le niveau sonore dans la cafet » + geste de désignation de l ’objet Lien (concept du domaine, sonification) : ??? Lien (objet physique, sonification) : ???

Projet de recherche : étapes de travail Etat de l’art : applications, sonification etc. Expérimentations fréquentes magicien d’Oz dans le playground Espace de conception : caractéristiques pertinentes Lien avec le processus de visualisation (thèse Fred) Conception et développement de la plate-forme

Projet de recherche : exemples de problèmes (1/2) Identifier des applications candidates (e-mail, activité distante, cubes de jeu etc.) Critères de correspondance entre source et sonification : trouver les métaphores possibles par application quelles caractéristiques ?

Projet de recherche : exemples de problèmes (2/2) Conception de la plate-forme Comment spécifier une sonification ? Comment présenter une sonification ? Proposer un ensemble d ’objets prédéfinis

MERCI !

Annexe 1 : Vibration acoustique Vibration acoustique = succession rapide d ’ondes de compression et de dépression Décompression Zone comprimée Nouvelle zone comprimée ... Source sonore Milieu ambiant (air, eau…) Propagation de l’onde de compression Dépression Nouvelle zone en dépression Recompression ... Propagation de l ’onde de dépression

Annexe 2 : Perception d ’une source en 3D Azimut : déphasage interaural  intensité interaurale Élévation :  timbre (source connue ou en mouvement) Distance : atténuation intensité, BF, HF taux son direct / réverbéré direction de propagation orientation distance azimut source élévation Autres propriétés : orientation (sources directives), diffusion (sources réparties), occlusion ; Autres indices : dynamique de la source, mouvements de tête, couplage avec le visuel

Annexe 3 : Son 3D : dispositifs de sortie 1 canal : distance, élévation ; ex : hauts-parleurs directifs 2 canaux : azimut sur hauts-parleurs : stéréo : son entre les hauts-parleurs « décorrélation croisée » : son venant des côtés sur écouteurs : stéréo : son à l’intérieur de la tête HRTF : filtrage des oreilles BRIR : propriétés acoustiques de la salle Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) : meilleure précision, meilleur réalisme, agrandissement de la zone de bonne écoute Rares systèmes de vraie 3D (CNMAT)