Hauteur et indexation (contribution digestive) Alain de Cheveigné CNRS - Ecole Normale Sup é rieure.

Présentation au sujet: "Hauteur et indexation (contribution digestive) Alain de Cheveigné CNRS - Ecole Normale Sup é rieure."— Transcription de la présentation:

1

2 Hauteur et indexation (contribution digestive) Alain de Cheveigné CNRS - Ecole Normale Sup é rieure

3 zIntro zHauteur, hauteur multiples  Mod è les de perception  M é thodes d'estimation zIndexation Plan

4 Intro son percepts

5 son espace des signaux: dimensionalit é infinie

6 Intro son percept espace des signaux: dimensionalit é infinie espace (?) des é tats mentaux: dimensionalit é infinie

7 son sonie hauteur timbre dur é e per ç ue Fechner (1880): quantification des é tats mentaux "dimensionsperceptives"

8 dur é e physique sonie "dimensionsphysiques""dimensionsperceptives" hauteur timbre dur é e per ç ue --> psychophysique p é riode intensit é centroide spectral, temps d'attaque, etc. Fechner (1880): quantification des é tats mentaux

9  vision r é ductrice:  " é tats mentaux" ≠ espace vectoriel  sonie, hauteur, etc.: description incompl è te  produit de la m é thodologie? (e.g. MDS)  n é glige: contexte, dynamique, particularit é s individuelles, etc.

10  vision r é ductrice:  " é tats mentaux" ≠ espace vectoriel  sonie, hauteur, etc.: description incompl è te  produit de la m é thodologie? (e.g. MDS)  n é glige: contexte, dynamique, particularit é s individuelles, etc.  n é anmoins: yutile comme approximation du rapport entre son et percept  --> pouvoir pr é dictif y--> descripteurs psychoacoustiques utiles pour l'indexation

11 Intro dur é e physique sonie "dimensionsphysiques""dimensionsperceptives" timbre dur é e per ç ue psychophysique intensit é centroide spectral, temps d'attaque, etc. hauteur p é riode

12 AFNOR (1977): "le caract è re de la sensation auditive li é à la fr é quence d'un son p é riodique, qui fait dire que le son est aigu ou grave selon que cette fr é quence est plus ou moins é lev é e" Hauteur

13 AFNOR (1977): "le caract è re de la sensation auditive li é à la fr é quence d'un son p é riodique, qui fait dire que le son est aigu ou grave selon que cette fr é quence est plus ou moins é lev é e" Hauteur --> sp é cifique d'une classe particuli è re de signaux

14 son: multidimensionnel hauteur: unidimensionnel hauteur = classe d' é quivalence (abstraction)

15 T p é riode hauteur = classe d' é quivalence (abstraction) ~= classe des sons de même p é riode son: multidimensionnel hauteur: unidimensionnel

16  son p é riodique mais pas de hauteur musicale si: y F0 < ~30 Hz (Pressnitzer et al. 2001) y F0 > ~4000 Hz (Semal & Demany 1990) ypartiels tous de rang > ~15  partiels tous de fr é quence > ~5000 Hz exceptions:

17  son p é riodique mais pas de hauteur musicale si: y F0 < ~30 Hz (Pressnitzer et al. 2001) y F0 > ~4000 Hz (Semal & Demany 1990) ypartiels tous de rang > ~15  partiels tous de fr é quence > ~5000 Hz  son non p é riodique mais é voque une hauteur: ycertains sons inharmoniques  bruits modul é s en amplitude y Huggins pitch (binaural) exceptions:

18 Bernstein & Oxenham (2003) high thresholds low thresholds

19  d é pend du mode d' é coute: yanalytique (Helmholtz): hauteurs de partiels  synth é tique:  hauteur li é e à la p é riode  hauteur li é e au centre de gravit é spectrale  diff é rences inter-individuelles! zaspects complexes:  dynamique (--> m é lodie)  harmonie, tonalit é, etc. yrelative vs absolue autres complications:

20 spectral locus pitch periodiciy pitch F0F0F0F0 F locus --> fortes diff é rences interindividuelles Hauteur fondamentale vs spectrale

21 spectral locus pitch periodiciy pitch F0F0F0F0 F locus --> nature pluridimensionnelle chroma tone height

22 Mod è les de perception de hauteur zcontroverse depuis Hemholtz... zversion classique: yspectral vs ytemporel zversion moderne: ypattern-matching vs  autocorr é lation zversion post moderne:  unitaire vs 2 m é canismes... http://cognition.ens.fr/Audition/ps/2005_pitch_SHAR.pdf

23 Licklider (˜1951)

24 Licklider from cochlea

25 Licklider

26

27 période --> hauteur

28 E E soma: integration Licklider: interaction excitatrice Annulation harmonique: interaction inhibitrice soma: integration

29 période --> hauteur mod è le "annulation" de perception de hauteur (de Cheveign é 1998)

30 Hauteurs multiples

31 hauteur 2 Hauteurs multiples hauteur 1 hauteur 3

32 zholistique: ytimbre de l'accord zanalytique:  perception des hauteurs é l é mentaires 2 modes de perception:...difficiles à d é partager

33 znombre de notes: yplus facile si peu de notes zenveloppes spectrales:  plus facile si diff é rentes zenveloppes temporelles:  plus facile si diff é rentes  familiarit é avec l'instrument  diff é rences interindividuelles! facteurs de l' é coute analytique: peu d' é tudes contrôl é es...

34  domaine fr é quence:  calcul d'un spectre d'excitation cochl é aire, peigne harmonique  r é solution souvent insuffisante... zdomaine spectrotemporel:  s é lection de canaux, autocorr é lation yfonctionne si enveloppes spectrales ≠ zdomaine temporel: yannulation harmonique par filtre neuronal yfonctionne dans tous les cas, mais... ...pr é dit performance sup é rieure à celle observ é e Mod è les de hauteurs multiples

35 autocorrelation array channel selection:

36 stochastic spike train multiple pitch perception

37  --> voir expos é de Klapuri  plusieurs m é thodes issues de mod è les perceptifs zexemple: algorithmes YIN et MMM Estimation de F0

38 YIN T=period signal model:

39 true if T=period property:

40 ...search for minimum of d() to find T... 

41 

42 MMM: signal model: sum of two periodic signals

43 MMM: property: true if s is sum of two periodic signals with periods T, U

44 MMM: if T,U unknown, form: search for minimum of d(,)

45 MMM: 

46   U T

47

48 Indexation de la hauteur zobjectif: ydescription de documents sonores yapplications: recherche documents, navigation zpertinence perceptive ytout son peut avoir une hauteur zpertinence musicale yliens avec indexation symbolique (partition)

49  probl è mes sp é cifiques: ygestion du temps yquantification, structure chroma / hauteur ypolyphonie  scalabilit é des descripteurs  traduction repr é sentations symboliques Indexation de la hauteur

50 zgestion du temps: yhauteur (F0) varie en fonction du temps yquantification (notes) yintervalles sans hauteur (mesure de confiance)

51  reliability

52  scalabilit é :  croissance rapide des donn é es (loi de Moore)  diversit é des besoins des applications  n é cessit é de r é utiliser les m é tadonn é es

53 2 1 oooooooooooooooooooooooooooooooo 2 2 o o o o o o o o o o o o o o o o 2 3 o o o o o o o o 2 4 o o o o 2 5 o o scaled series original series scalingfactor

54 zmean zextrema (min, max) zvariance/covariance zhistogram zetc. Scalable operations

55 Mean:

56 Histogram:

57 Weighted histogram:

58  reliability

59 Conclusion z"dimension" importante du son  premi è re approximation: qualit é unidimensionnelle en bijection avec la p é riode  deuxi è me approximation: structure multidimensionnelle, effets de contexte, effets individuels, fonctions musicales complexes, etc.  estimation: difficile mais progr è s rapides  indexation: probl è mes sp é cifiques