La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Audio et spatialisation du son Nicolas Tsingos. Motivation Lapport du son est indéniable –films, jeux vidéos, simulation, réalité virtuelle –le son augmente.

Présentations similaires


Présentation au sujet: "Audio et spatialisation du son Nicolas Tsingos. Motivation Lapport du son est indéniable –films, jeux vidéos, simulation, réalité virtuelle –le son augmente."— Transcription de la présentation:

1 Audio et spatialisation du son Nicolas Tsingos

2 Motivation Lapport du son est indéniable –films, jeux vidéos, simulation, réalité virtuelle –le son augmente le réalisme et la sensation d immersion

3 Motivation Le son doit être cohérent avec les visuels –synchronisation –cohérence des effets (distance, position, etc.)

4 Introduction au son physique Onde mécanique –compression/dilatation des molécules du milieu –pas de son dans le vide ! –créée par un corps en vibration –caractérisée par le niveau de pression acoustique (Pa ou N.m -2 ) –également mesurée en décibels (dB) : 20 log 10 (P/P réf )

5 Ondes harmoniques Onde sphérique: –P(r,t) = Po/r sin( t - kr ) – = 2 f (pulsation) –k = /c (nombre donde) – = 2 /k (longueur donde) – = kr (phase) r

6 Introduction au son physique Ordres de grandeur –célérité : 340 m/s (air) 1000 m/s (eau/métal) –fréquences: kHz (audible de 20Hz à 20kHz) –longueur donde : 100m - 1mm Lumière: –célérité : m/s (vide) –fréquences: Hz –longueur dondes: 7.8x10 -7 m (rouge) - 3.9x10 -7 m (violet)

7 Ondes complexes Peuvent se décomposer en ondes harmoniques –décomposition linéaire Analyse de Fourier –FFT par blocs –spectrogramme

8 Ondes complexes

9 Propagation du son Sources/Auditeur en mouvement –Effet Doppler

10 Propagation du son Réflexion –spéculaire Diffraction du son

11 Propagation du son Réverbération –superposition de réflexions/diffractions du son au cours du temps –particulièrement sensible dans les espaces clos

12 Perception du son Loreille est un récepteur complexe –le tympan mesure la pression acoustique –convertie en atomes temps-fréquence par le cortex

13 Perception du son Nous somme sensibles à lintensité (intégrale temporelle du carré de la pression) Fréquences audibles: 20Hz- 20kHz Dynamique: W.m 2 (120 dB) du seuil daudition au seuil de douleur

14 Perception du son

15 Filtrage en « bandes critiques » –membrane basilaire (cochlée) –le son est découpé en 25 bandes –1/3 octave

16 Perception du son Masquage –Effet de précédence : pour des signaux similaires le premier arrivé à lauditeur masque le second (essayez avec votre chaine hifi) –Masquage temporel : un son fort masque un son faible immédiatement après…et même avant ! –Masquage fréquentiel: une fréquence masque les fréquences voisines (+ dans les basses)

17 Perception du son Le spectre et la phase du son sont plus importants que les variations de la pression

18 Perception du son la perception binaurale (des 2 oreilles) donne des indications de direction en 3D

19 Le son numérique Acquisition du son –microphone –convertit les variations de pression en variations dintensité électrique Numérisation du son –convertit les variations dintensité electrique en bits –Pulse Code Modulation (PCM) –quantisation et fréquence déchantillonage

20 Le son numérique Quantisation –nombre de bits utilisés pour encoder lamplitude du signal –virgule fixe ou virgule flottante –linéaire ou non-linéaire –pas assez de résolution => bruit –détermine la dynamique possible du signal

21 Le son numérique Fréquence déchantillonnage (sampling rate) –combien de fois par seconde va-t-on représenter la valeur du signal –Théorème de Shannon: il faut échantillonner à au moins 2x la plus haute fréquence contenue dans le signal pour ne pas avoir de pertes

22 Le son numérique Quelques chiffres –CD : 16 bits, entiers, Hz –Téléphone: 8 bits, entiers, 8kHz, non linéaire –DVD: jusquà 192kHz, 24 bits, entiers

23 Spatialisation du son *

24 Positionnement du son dans lespace –différence de temps darrivée aux oreilles –masquage/diffraction par le torse et la tête –filtrage complexe dû aux réflexions/diffractions dans le pavillon de loreille => dépend de la direction dincidence

25 Spatialisation du son Réverbération –Modèle géométrique Construire les réflexions En déduire un filtre –Modèle perceptif approximation statistique réverberation artificielle contrôle par critères perceptifs Reflections Delay Reverb Delay dB Reflections Reverb 0 dB Direct time Decay Time

26 Réverbération par convolution Réponse impulsionelle –la réponse dun système lorsque lentrée est une impulsion (Dirac) –suffit à décrire le système Convolution

27 Calcul de réponse impulsionelle Ray-tracing

28 Calcul de réponse impulsionelle For each path –Build path filter –Add to impulse response Convolve signal chunk with long filter Need for a convolution engine Best-suited to static environments

29 Calcul de réponse impulsionelle For each path –Build short path filter –Convolve with a chunk of input signal –Mix contribution to output Convolution per path Supports interpolation of paths attributes and filters

30 Attributs perceptifs Acoustique des salles (design de salles de concert) dB 0 dB time

31 dB 0 dB time Total energy (amplification) Acoustique des salles Attributs perceptifs

32 dB 0 dB time Total energy (amplification) Decay time (reverberance) Acoustique des salles

33 Attributs perceptifs dB 0 dB time Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Acoustique des salles

34 Attributs perceptifs dB 0 dB time Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Acoustique des salles

35 Attributs perceptifs dB 0 dB time Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) Acoustique des salles

36 Attributs perceptifs dB 0 dB time Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) Acoustique des salles

37 Attributs perceptifs dB 0 dB time Total energy (amplification) Decay time (reverberance) Direct/reflected ratio (proximity) Early/late ratio (intelligibility) Initial delay time (room size) Lateral energy fraction Acoustique des salles

38 Attributs perceptifs On divise la réponse impulsionelle en 3 parties –le son direct –reflexions précoces –réverbération (tardive) fréquences: 3 bandes –basses [ Hz] –médium [ Hz] –aigus [2000+ Hz] dB time Hz

39 Attributs perceptifs Distribution spatiale (typique) son direct: directionel réflexions individuelles: directionelles réverberation: diffuse (de partout) Réflexions précoces ne sont pas séparées mais:- le son direct peut être bloqué - echos audibles (environmt. extérieurs) - phasing avec les sources en mouvement

40 Reverbération artificielle Plus efficace quune convolution directe 1 N 2 g 1 g N g 2 A delai atténuation matrice de feedback

41 Spatialisateur multi-channel output bus source processing block filter gain Refl. Reverb. reverberation block pan

42 Positionement 3D du son Systèmes de restitution –stéréo –multi-haut parleur

43 Positionement 3D du son En stéréo –pas besoin de plus ! –appliquer une paire de filtres à un signal mono –filtres sont directionels HRTFs –Head Related Transfer Functions –mesurés ou simulés –dépendent de lauditeur

44 Positionement 3D du son Extension à des enceintes stéréo –transaural stereo –suppression des chemins croisés (cross-talk)

45 Positionement 3D du son Multi-haut parleur –Son surround 5.1 et + –Ambisonics –Holophonie

46 Récapitulatif ? yes (3D array) yes elevation ?smallaverage low average (4+) Amplitude Panning ?n/av.good high heavy (100+) WFS yessmallgood moderate average (4+) Ambisonics yessmallgood moderate light (2+) Transaural yes recording n/a Sweet spot v.good imaging moderate DSP light (2) Setup (# chans) HRTF Technique

47 Standards Direct Sound 3D –spatialisation, reverberation, effets –EAX (Creative Labs) –OpenAL (multi-plateforme) => support hardware par les cartes sons 64 voix 3D + 4 reverb simultanées MPEG4 audio JAVA 3D

48 Compression du son Quantization et fréquence déchantillonage Quantization non uniforme Adaptive Differential PCM (ADPCM) Perceptual audio coding (PAC)

49 Quantization et échantillonnage Réduire le nombre de bits –introduit du bruit de quantization –limite la dynamique Réduire la fréquence d échantillonage –limite la réponse en fréquence Peut marcher pour certains signaux (voix,…)

50 Quantization non uniforme Donner plus de résolution aux signaux de faible amplitude –quantization logarithmique – -law (US) et A-law (europe) –14/16 bits représentés sur 8 bits –téléphone

51 Adaptive Differential PCM (ADPCM) Coder les différence entre les samples proches sera stocké (-7). utilisé principalement pour la voix de 16 bits à 4 bits = compression 4:1 DTS

52 Perceptual audio coding (PAC) MPEG I -layer III (mp3), MPEGII AAC, Dolby digital (ac3), etc. Principe: –Découper le signal en bandes critiques –Allouer le nombre de bits de quantization dynamiquement –Mais réduire ce nombre introduit du bruit –Exploiter les masquages auditifs pour assurer que le signal masque le bruit

53 Modèles à base d événements MIDI (Musical Instrument Digital Interface) Représente la musique comme des notes et des événements Utilise un moteur de synthèse pour la restitution Compression très efficace Mais sons limités et pas de garantie de qualité

54 Direct Sound Partie audio de Direct X –gère les entrées-sorties audio temps-réel –support hardware par les cartes audio DirectSound object –configuration audio DirectSound primary buffer DirectSound secondary buffers –mixés dans le primary buffer

55 Direct Sound Object Device –carte son Configuration d écoute –casque –enceintes stéréo –multi-canal

56 Direct Sound Primary buffer Format de données audio –quantisation –format (entiers, flottants) –fréquence d échantillonnage –nombre de canaux –compression Mode exclusif ou partagé

57 Direct Sound Secondary Buffers Tableaux circulaires de données échantillonnées –lus à la fréquence d échantillonnage audio –il faut écrire assez vite pour ne pas perdre des données Paramètres de contrôle –volume –position (buffers 3D) –pitch


Télécharger ppt "Audio et spatialisation du son Nicolas Tsingos. Motivation Lapport du son est indéniable –films, jeux vidéos, simulation, réalité virtuelle –le son augmente."

Présentations similaires


Annonces Google