Hauteur et indexation (contribution digestive) Alain de Cheveigné CNRS - Ecole Normale Sup é rieure

zIntro zHauteur, hauteur multiples  Mod è les de perception  M é thodes d'estimation zIndexation Plan

Intro son percepts

son espace des signaux: dimensionalit é infinie

Intro son percept espace des signaux: dimensionalit é infinie espace (?) des é tats mentaux: dimensionalit é infinie

son sonie hauteur timbre dur é e per ç ue Fechner (1880): quantification des é tats mentaux "dimensionsperceptives"

dur é e physique sonie "dimensionsphysiques""dimensionsperceptives" hauteur timbre dur é e per ç ue --> psychophysique p é riode intensit é centroide spectral, temps d'attaque, etc. Fechner (1880): quantification des é tats mentaux

 vision r é ductrice:  " é tats mentaux" ≠ espace vectoriel  sonie, hauteur, etc.: description incompl è te  produit de la m é thodologie? (e.g. MDS)  n é glige: contexte, dynamique, particularit é s individuelles, etc.

 vision r é ductrice:  " é tats mentaux" ≠ espace vectoriel  sonie, hauteur, etc.: description incompl è te  produit de la m é thodologie? (e.g. MDS)  n é glige: contexte, dynamique, particularit é s individuelles, etc.  n é anmoins: yutile comme approximation du rapport entre son et percept  --> pouvoir pr é dictif y--> descripteurs psychoacoustiques utiles pour l'indexation

Intro dur é e physique sonie "dimensionsphysiques""dimensionsperceptives" timbre dur é e per ç ue psychophysique intensit é centroide spectral, temps d'attaque, etc. hauteur p é riode

AFNOR (1977): "le caract è re de la sensation auditive li é à la fr é quence d'un son p é riodique, qui fait dire que le son est aigu ou grave selon que cette fr é quence est plus ou moins é lev é e" Hauteur

AFNOR (1977): "le caract è re de la sensation auditive li é à la fr é quence d'un son p é riodique, qui fait dire que le son est aigu ou grave selon que cette fr é quence est plus ou moins é lev é e" Hauteur --> sp é cifique d'une classe particuli è re de signaux

son: multidimensionnel hauteur: unidimensionnel hauteur = classe d' é quivalence (abstraction)

T p é riode hauteur = classe d' é quivalence (abstraction) ~= classe des sons de même p é riode son: multidimensionnel hauteur: unidimensionnel

 son p é riodique mais pas de hauteur musicale si: y F0 < ~30 Hz (Pressnitzer et al. 2001) y F0 > ~4000 Hz (Semal & Demany 1990) ypartiels tous de rang > ~15  partiels tous de fr é quence > ~5000 Hz exceptions:

 son p é riodique mais pas de hauteur musicale si: y F0 < ~30 Hz (Pressnitzer et al. 2001) y F0 > ~4000 Hz (Semal & Demany 1990) ypartiels tous de rang > ~15  partiels tous de fr é quence > ~5000 Hz  son non p é riodique mais é voque une hauteur: ycertains sons inharmoniques  bruits modul é s en amplitude y Huggins pitch (binaural) exceptions:

Bernstein & Oxenham (2003) high thresholds low thresholds

 d é pend du mode d' é coute: yanalytique (Helmholtz): hauteurs de partiels  synth é tique:  hauteur li é e à la p é riode  hauteur li é e au centre de gravit é spectrale  diff é rences inter-individuelles! zaspects complexes:  dynamique (--> m é lodie)  harmonie, tonalit é, etc. yrelative vs absolue autres complications:

spectral locus pitch periodiciy pitch F0F0F0F0 F locus --> fortes diff é rences interindividuelles Hauteur fondamentale vs spectrale

spectral locus pitch periodiciy pitch F0F0F0F0 F locus --> nature pluridimensionnelle chroma tone height

Mod è les de perception de hauteur zcontroverse depuis Hemholtz... zversion classique: yspectral vs ytemporel zversion moderne: ypattern-matching vs  autocorr é lation zversion post moderne:  unitaire vs 2 m é canismes...

Licklider (˜1951)

Licklider from cochlea

Licklider

période --> hauteur

E E soma: integration Licklider: interaction excitatrice Annulation harmonique: interaction inhibitrice soma: integration

période --> hauteur mod è le "annulation" de perception de hauteur (de Cheveign é 1998)

Hauteurs multiples

hauteur 2 Hauteurs multiples hauteur 1 hauteur 3

zholistique: ytimbre de l'accord zanalytique:  perception des hauteurs é l é mentaires 2 modes de perception:...difficiles à d é partager

znombre de notes: yplus facile si peu de notes zenveloppes spectrales:  plus facile si diff é rentes zenveloppes temporelles:  plus facile si diff é rentes  familiarit é avec l'instrument  diff é rences interindividuelles! facteurs de l' é coute analytique: peu d' é tudes contrôl é es...

 domaine fr é quence:  calcul d'un spectre d'excitation cochl é aire, peigne harmonique  r é solution souvent insuffisante... zdomaine spectrotemporel:  s é lection de canaux, autocorr é lation yfonctionne si enveloppes spectrales ≠ zdomaine temporel: yannulation harmonique par filtre neuronal yfonctionne dans tous les cas, mais... ...pr é dit performance sup é rieure à celle observ é e Mod è les de hauteurs multiples

autocorrelation array channel selection:

stochastic spike train multiple pitch perception

 --> voir expos é de Klapuri  plusieurs m é thodes issues de mod è les perceptifs zexemple: algorithmes YIN et MMM Estimation de F0

YIN T=period signal model:

true if T=period property:

...search for minimum of d() to find T... 



MMM: signal model: sum of two periodic signals

MMM: property: true if s is sum of two periodic signals with periods T, U

MMM: if T,U unknown, form: search for minimum of d(,)

MMM: 

  U T

Indexation de la hauteur zobjectif: ydescription de documents sonores yapplications: recherche documents, navigation zpertinence perceptive ytout son peut avoir une hauteur zpertinence musicale yliens avec indexation symbolique (partition)

 probl è mes sp é cifiques: ygestion du temps yquantification, structure chroma / hauteur ypolyphonie  scalabilit é des descripteurs  traduction repr é sentations symboliques Indexation de la hauteur

zgestion du temps: yhauteur (F0) varie en fonction du temps yquantification (notes) yintervalles sans hauteur (mesure de confiance)

 reliability

 scalabilit é :  croissance rapide des donn é es (loi de Moore)  diversit é des besoins des applications  n é cessit é de r é utiliser les m é tadonn é es

2 1 oooooooooooooooooooooooooooooooo 2 2 o o o o o o o o o o o o o o o o 2 3 o o o o o o o o 2 4 o o o o 2 5 o o scaled series original series scalingfactor

zmean zextrema (min, max) zvariance/covariance zhistogram zetc. Scalable operations

Mean:

Histogram:

Weighted histogram:

 reliability

Conclusion z"dimension" importante du son  premi è re approximation: qualit é unidimensionnelle en bijection avec la p é riode  deuxi è me approximation: structure multidimensionnelle, effets de contexte, effets individuels, fonctions musicales complexes, etc.  estimation: difficile mais progr è s rapides  indexation: probl è mes sp é cifiques