Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
1
Audio et spatialisation du son
Nicolas Tsingos
2
Motivation L’apport du son est indéniable
films, jeux vidéos, simulation, réalité virtuelle le son augmente le réalisme et la sensation d ’immersion
3
Motivation Le son doit être cohérent avec les visuels synchronisation
cohérence des effets (distance, position, etc.)
4
Introduction au son physique
Onde mécanique compression/dilatation des molécules du milieu pas de son dans le vide ! créée par un corps en vibration caractérisée par le niveau de pression acoustique (Pa ou N.m-2) également mesurée en décibels (dB) : 20 log10(P/Préf)
5
Ondes harmoniques Onde sphérique: P(r,t) = Po/r sin(t - kr )
= 2f (pulsation) k = /c (nombre d’onde) = 2 /k (longueur d’onde) = kr (phase) r
6
Introduction au son physique
Ordres de grandeur célérité : 340 m/s (air) m/s (eau/métal) fréquences: kHz (audible de 20Hz à 20kHz) longueur d’onde : 100m - 1mm Lumière: célérité : m/s (vide) fréquences: Hz longueur d’ondes: 7.8x10-7 m (rouge) - 3.9x10-7 m (violet)
7
Ondes complexes Peuvent se décomposer en ondes harmoniques
décomposition linéaire Analyse de Fourier FFT par blocs spectrogramme
8
Ondes complexes
9
Propagation du son Sources/Auditeur en mouvement Effet Doppler
10
Propagation du son Réflexion spéculaire Diffraction du son
11
Propagation du son Réverbération
superposition de réflexions/diffractions du son au cours du temps particulièrement sensible dans les espaces clos
12
Perception du son L’oreille est un récepteur complexe
le tympan mesure la pression acoustique convertie en atomes temps-fréquence par le cortex
13
Perception du son Nous somme sensibles à l’intensité (intégrale temporelle du carré de la pression) Fréquences audibles: 20Hz- 20kHz Dynamique: 1012 W.m2 (120 dB) du seuil d’audition au seuil de douleur
14
Perception du son
15
Perception du son Filtrage en « bandes critiques »
membrane basilaire (cochlée) le son est découpé en 25 bandes 1/3 octave
16
Perception du son Masquage
Effet de précédence : pour des signaux similaires le premier arrivé à l’auditeur masque le second (essayez avec votre chaine hifi) Masquage temporel : un son fort masque un son faible immédiatement après…et même avant ! Masquage fréquentiel: une fréquence masque les fréquences voisines (+ dans les basses)
17
Perception du son Le spectre et la phase du son sont plus importants que les variations de la pression
18
Perception du son la perception binaurale (des 2 oreilles) donne des indications de direction en 3D
19
Le son numérique Acquisition du son Numérisation du son microphone
convertit les variations de pression en variations d’intensité électrique Numérisation du son convertit les variations d’intensité electrique en bits Pulse Code Modulation (PCM) quantisation et fréquence d’échantillonage
20
Le son numérique Quantisation
nombre de bits utilisés pour encoder l’amplitude du signal virgule fixe ou virgule flottante linéaire ou non-linéaire pas assez de résolution => bruit détermine la dynamique possible du signal
21
Le son numérique Fréquence d’échantillonnage (sampling rate)
combien de fois par seconde va-t-on représenter la valeur du signal Théorème de Shannon: il faut échantillonner à au moins 2x la plus haute fréquence contenue dans le signal pour ne pas avoir de pertes
22
Le son numérique Quelques chiffres CD : 16 bits, entiers, 44100 Hz
Téléphone: 8 bits, entiers, 8kHz, non linéaire DVD: jusqu’à 192kHz, 24 bits, entiers
23
Spatialisation du son *
24
Spatialisation du son Positionnement du son dans l’espace
différence de temps d’arrivée aux oreilles masquage/diffraction par le torse et la tête filtrage complexe dû aux réflexions/diffractions dans le pavillon de l’oreille => dépend de la direction d’incidence
25
Spatialisation du son Réverbération Modèle géométrique
Construire les réflexions En déduire un filtre Modèle perceptif approximation statistique réverberation artificielle contrôle par critères perceptifs Reflections Delay Reverb Delay dB Reflections Reverb 0 dB Direct time Decay Time
26
Réverbération par convolution
Réponse impulsionelle la réponse d’un système lorsque l’entrée est une impulsion (Dirac) suffit à décrire le système Convolution
27
Calcul de réponse impulsionelle
Ray-tracing
28
Calcul de réponse impulsionelle
For each path Build path filter Add to impulse response Convolve signal chunk with “long” filter Need for a convolution engine Best-suited to static environments
29
Calcul de réponse impulsionelle
For each path Build “short” path filter Convolve with a chunk of input signal Mix contribution to output Convolution per path Supports interpolation of paths attributes and filters
30
Attributs perceptifs Acoustique des salles
(design de salles de concert) dB 0 dB time
31
Attributs perceptifs Acoustique des salles
Total energy (amplification) dB 0 dB time
32
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) dB 0 dB time
33
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) dB 0 dB time
34
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) dB 0 dB time
35
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) dB 0 dB time
36
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) dB 0 dB time
37
Attributs perceptifs Acoustique des salles
Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) Lateral energy fraction dB 0 dB time
38
Attributs perceptifs On divise la réponse impulsionelle en 3 parties
le son direct reflexions précoces réverbération (tardive) fréquences: 3 bandes basses [ Hz] médium [ Hz] aigus [2000+ Hz] dB time Hz
39
Attributs perceptifs Distribution spatiale (typique)
son direct: directionel réflexions individuelles: directionelles réverberation: diffuse (de partout) Réflexions précoces ne sont pas séparées mais: - le son direct peut être bloqué - echos audibles (environmt. extérieurs) - “phasing” avec les sources en mouvement
40
Reverbération artificielle
Plus efficace qu’une convolution directe t 1 N 2 g A matrice de feedback delai atténuation
41
multi-channel output bus
Spatialisateur multi-channel output bus filter gain pan pan reverberation block source processing block Reverb. Refl.
42
Positionement 3D du son Systèmes de restitution stéréo
multi-haut parleur
43
Positionement 3D du son En stéréo HRTFs pas besoin de plus !
appliquer une paire de filtres à un signal mono filtres sont directionels HRTFs Head Related Transfer Functions mesurés ou simulés dépendent de l’auditeur
44
Positionement 3D du son Extension à des enceintes stéréo
transaural stereo suppression des chemins croisés (cross-talk)
45
Positionement 3D du son Multi-haut parleur Son surround 5.1 et +
Ambisonics Holophonie
46
Récapitulatif ? yes (3D array) yes (3D array) yes small average n/a
elevation small average low average (4+) Amplitude Panning n/a v.good high heavy (100+) WFS good moderate Ambisonics light (2+) Transaural recording Sweet spot imaging DSP light (2) Setup (# chans) HRTF Technique
47
Standards Direct Sound 3D => support hardware par les cartes sons
spatialisation, reverberation, effets EAX (Creative Labs) OpenAL (multi-plateforme) => support hardware par les cartes sons 64 voix 3D + 4 reverb simultanées MPEG4 audio JAVA 3D
48
Compression du son Quantization et fréquence d’échantillonage
Quantization non uniforme Adaptive Differential PCM (ADPCM) Perceptual audio coding (PAC)
49
Quantization et échantillonnage
Réduire le nombre de bits introduit du bruit de quantization limite la dynamique Réduire la fréquence d ’échantillonage limite la réponse en fréquence Peut marcher pour certains signaux (voix,…)
50
Quantization non uniforme
Donner plus de résolution aux signaux de faible amplitude quantization logarithmique -law (US) et A-law (europe) 14/16 bits représentés sur 8 bits téléphone
51
Adaptive Differential PCM (ADPCM)
Coder les différence entre les samples proches sera stocké (-7). utilisé principalement pour la voix de 16 bits à 4 bits = compression 4:1 DTS
52
Perceptual audio coding (PAC)
MPEG I -layer III (mp3) , MPEGII AAC, Dolby digital (ac3), etc. Principe: Découper le signal en bandes critiques Allouer le nombre de bits de quantization dynamiquement Mais réduire ce nombre introduit du bruit Exploiter les masquages auditifs pour assurer que le signal masque le bruit
53
Modèles à base d ’événements
MIDI (Musical Instrument Digital Interface) Représente la musique comme des notes et des événements Utilise un moteur de synthèse pour la restitution Compression très efficace Mais sons limités et pas de garantie de qualité
54
Direct Sound Partie audio de Direct X DirectSound object
gère les entrées-sorties audio temps-réel support hardware par les cartes audio DirectSound object configuration audio DirectSound primary buffer DirectSound secondary buffers mixés dans le primary buffer
55
Direct Sound Object Device Configuration d ’écoute carte son casque
enceintes stéréo multi-canal
56
Direct Sound Primary buffer
Format de données audio quantisation format (entiers, flottants) fréquence d ’échantillonnage nombre de canaux compression Mode exclusif ou partagé
57
Direct Sound Secondary Buffers
Tableaux circulaires de données échantillonnées lus à la fréquence d ’échantillonnage audio il faut écrire assez vite pour ne pas perdre des données Paramètres de contrôle volume position (buffers 3D) pitch
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.