L’effet de la fréquence fondamentale sur le timbre des sons musicaux Journée des Jeunes Chercheurs 2003 Jeremy Marozeau IRCAM L’effet de la fréquence fondamentale sur le timbre des sons musicaux 4ème année en thèse ATIAM, financée par le Fond National Suisse Dirigé par A. de Cheveigné, IRCAM en collaboration avec D. Wessel, CNMAT, UC Berkeley et le LMA Marseille

But: Etudier l’effet perceptif que peut avoir la fréquence fondamentale (F0) sur le timbre des instruments de musique.

La psychoacoustique: Perceptif Physique Hauteur Sonie Durée Timbre Intensité Longueur du signal F0 Descripteurs: (Attaque, CGS, …)

Analyse Multidimensionnelle de jugements de dissemblance: 3 5 6 1 2 4 Matrice des dissemblances perceptives A B C D Relations perceptives Evénements sonores Programme d'analyse multidimensionnelle Configuration géométrique (choix du modèle spatial) A B C D 3D 2D 1D • • • Interprétation par l'expérimentateur (explication psychophysique)

Exemple d’espace perceptif de timbre. McAdams et Al. (1995) Piano Piano frotté Clarinette Trompette

Question: Comment cet espace varierait-il si la fréquence fondamentale changeait ?

La psychoacoustique: Perceptif Physique Hauteur Sonie Durée Timbre Intensité Longueur du signal F0 Descripteurs: (Attaque, CGS, …)

La psychoacoustique: Perceptif Physique Hauteur Sonie Durée perçue Timbre F0 Intensité Durée physique CGS Impulsivité Flux spectral etc .... ?

Comment cet espace varierait-il si la fréquence fondamentale changeait ? Hypothèses: I) Invariance II) changement isometrique III) changement non-isometrique

Comment cet espace varierait-il si la fréquence fondamentale changeait ? Hypothèses: I) Invariance II) changement isometrique III) changement non-isometrique

Comment cet espace varierait-il si la fréquence fondamentale changeait ? Hypothèses: I) Invariance II) changement isometrique III) changement non-isometrique

Comment cet espace varierait-il si la fréquence fondamentale changeait ? Hypothèses: I) Invariance II) changement isometrique III) changement non-isometrique

Les corrélats acoustiques varient-ils ? Comment cet espace varierait-il si la fréquence fondamentale changeait ? Les corrélats acoustiques varient-ils ?

La psychoacoustique: Perceptif Physique Hauteur Sonie Durée perçue Timbre F0 Intensité Durée physique CGS Impulsivité Flux spectral etc .... ?

Le centre de gravité spectral (CGS): CGS

Analyse acoustique Stable pour tout F0 CGS Horn

Analyse acoustique Change avec la F0 CGS Violin

Stable, puis change avec f0 Analyse acoustique Stable, puis change avec f0 CGS

Expérience I: Stimuli 3 F0s : B2, C# 3, Bb 3 Durée : 1.5 secondes 12 instruments dont: 10 instruments extraits de la base de donnée SOL 2 cuivres 2 cordes frottées 3 bois 3 cordes pincées Trompette Contrebasse Hautbois Guitare cor Violon Clarinette Harpe Flûte Violon pizzicato. 2 instruments synthétiques SynthA SynthB

Experiment I: 12 instruments (66 pairs) 3 sessions 3 matrices de dissemblance 3 espaces de timbre Fl1 Tr1 Vl1 Fl1 Tr1 Vl1 0.2 0.4 0.3 => Vl1 Tr1 Fl1 => B2: 247 Hz Fl2 Tr2 Vl2 Fl2 Tr2 Vl2 0.8 0.2 0.6 => Vl2 Tr2 Fl2 => C#3: 277 Hz Bb3: 466 Hz Fl3 Tr3 Vl3 Fl3 Tr3 Vl3 0.1 0.6 0.4 => Vl3 Tr3 Fl3

Matrice de Dissemblance Exp. I - B2 Guitare Harpe Violon pizz Violon Bass Synth A Synth B Haubois Clarinette Flute cor Trompette

Matrice de Dissemblance Exp I Bb3 B2 0.88 0.89 0.80 Gu = guitare; Hr = harpe; Vp = violon pizz.; Vl = violon; Ba = bass; SA = synthA; SB = synthB; Ob = hautbois; Cl = clarinette; Fl = flute; Ho = cor; Tr = trompette.

Espace de timbre MDS Exp. I - B2

Espaces de timbre MDS Exp. I Bb3 B2

Experience II: 12*2 instruments (144 paires) 2 matrices de dissemblance 2 sessions => Fl1 Tr1 Vl1 Fl2 Tr2 Vl2 0.2 0.4 0.3 0.5 0.7 0.1 0.6 B2 : 247 Hz C#3: 277 Hz Fl3 Tr3 Vl3 0.5 0.1 0.3 0.0 0.9 0.6 0.4 Fl1 Tr1 Vl1 => B2 : 247 Hz Bb3: 466 Hz

Matrice de Dissemblance Exp. II- B2/C#3 Guitar Harp Violin pizz Violin Bass Synth A Synth B Oboe Clarinet Flute Horn Trumpet B2 C#3

Matrice de Dissemblance ExpII Exp. II-B2/Bb3 Exp. II-B2/C#3 B2 B2 C#3 Bb3

Hypothèses: II) changement isometrique

Ces variations sont idiosyncratiques Conclusions Le timbre est stable malgré de petites variations avec la F0. Ces variations sont idiosyncratiques La tâche est possible: les sujets peuvent ignorer une différence de F0.

Experiment III: 9*2 instruments (153 pairs) 1 sessions 1 dissimilarity matrix 1 Timbre space => Fl1 Tr1 Vl1 Fl2 Tr2 Vl2 Fl1 Tr1 Vl1 Fl2 Tr2 Vl2 0.2 0.4 0.3 0.5 0.7 0.1 0.6 0.9 0.0 1 Vl1 Fl1 Tr1 Fl2 Vl2 Tr2 => B2 C#3

Dissimilarity Matrices Exp. III - B2/C#3 = ExpI- B2 B2 0.95 Exp. I & II = ExpII- B2/C#3 = ExpI- C#3 C#3 B2 C#3

Timbre Spaces MDS B2 - C#3

Timbre Spaces MDS B2 - Bb3

Exp.I-B2 = 0.97, Exp.I-C#3 = 0.96, Exp.I-Bb3 = 0.94 Physical Correlation First dimension Good correlation coefficient with the impulsiveness of the stimuli. Exp.I-B2 = 0.97, Exp.I-C#3 = 0.96, Exp.I-Bb3 = 0.94 Second dimension Good correlation coefficient with the spectral centroid. Exp.I-B2 = 0.99, Exp.I-C#3 = 0.89, Exp.I-Bb3 = 0.91

Physical Correlations the Exp I with CGS Absolu Correlation Coefficient = 0.87 B2 C#3 Bb3

Physical Correlations the Exp I with CGS Relatif Correlation Coefficient = 0.60 B2 C#3 Bb3

Physical Correlations (Proposition) the Exp I with CGS Absolu - F0 Correlation Coefficient = 0.91 B2 C#3 Bb3

Experiment I: Stimuli (2) 2 synthetic instruments 2 3 3

Experiment II: SynthA versus SynthB

Fréquence Fondamentale: Inverse de la période d’un son periodique. Bon prédicteur de la hauteur musicale perçue.