Le genre musical François Pachet

Sur Amazon ? Pop General Adult Contemporary Britpop Dance Pop Disco Easy Listening Emerging Artists Latin Pop Motown Oldies Pop Rock Singer-Songwriters Soft Rock Vocal Pop danceability listening context artist based chronology based instrument / orchestration

Genres de genres Éditorial prescriptif: AllMusicGuide un expert dit : Beatles = Brit-Pop… Éditorial collaboratif: MoodLogic M personnes disent explicitement Beatles = Rock Culturel:Google + analyse 20,000 pages avec Beatles ET British Invasion Acoustique:Ismir Calcul Acoustico-éditorial:… on y vient Calcul

Calculer le genre Training sur des genres prédéfinis a l’aide d’exemples Modélisation des classes a partir de 1) features acoustiques 2) modèles d’apprentissage Calcul pour de nouveaux titres de la distance a chaque modèle

Calculer le genre (2) Problèmes: Quelles sont les bonnes features ? Quels sont les bons modèles (GMM, SVM, etc.) et leurs paramètres ? Calculer vite sur de grosses bases (100,000 titres) Expérimentations avec gmm(mfcc) Demonstration

Gmm (mfcc) Modèle de base Innombrables variations Résultat : 1)Cet algorithme gagne le concours Ismir 04 2)Glass ceiling de 70%

ALGORITHM A « classic » pattern recognition architecture FEATURESAgT

ALGORITHM Exhaustive experiments to improve the precision of our algorithm: First presented at ISMIR 2002 Aucouturier, Jean-Julien and Pachet, Francois Music Similarity Measures: What's the Use?. In Ircam, editor, Proceedings of the 3rd ISMIR, October Evaluation results : JNRAS and IEEE TM Aucouturier, J.-J. and Pachet F. Improving Timbre Similarity: How high is the sky?. Journal of Negative Results in Speech and Audio Sciences, 1(1), ONLINE : Aucouturier; J.-J., Pachet, F. and Sandler, M. The Way It Sounds : Timbre Models For Analysis and Retrieval of Polyphonic Music Signals. IEEE Transactions of Multimedia, 2004 Tools and methodology : ISMIR 2004 paper Aucouturier, J.-J. and Pachet, F. Tools and Architecture for the Evaluation of Similarity Measures: Case Study of Timbre Similarity. Proceedings of ISMIR, 2004.

(3) EXHAUSTIVE SEARCH Improvement of precision by 16% from the parameters of the original algorithm Best parameters : 44kHz, 2048 pts, 20 mfccs, 50 gaussians, sampled distance with 2000 pts. Best R-Precision : p=0.64 This may appear poor, but the criteria underestimates it, as it doesn’t consider matches over different clusters (e.g. Jazz piano and classical piano)

Du timbre au genre acoustique Le timbre global d’un morceau ainsi modélisé peut servir pour inférer le genre Ici, chaque morceau est son propre modèle. On peut construire des modèles avec plusieurs morceaux => classification en genre Démonstration avec le MB

Bonnes features? Le problème est général: pour un problème perceptif donné, quelles sont les bonnes features ? Nous proposons une solution définitive: EDS. Invente des features analytiques par combinaison d’opérateurs dans l’espace infini des expressions de DSP analytiques. Exemples

Renverser le point de vue Calculer un genre universel est un faux problème: les genres ne sont jamais universels. Les approches existantes obligent les utilisateurs a apprendre les taxonomies sous-jacentes. On renverse le pt de vue: le système apprend la classification de l’utilisateur Exemple avec le MB.

Conclusion Editorial prescriptif: Beatles = Brit-Pop Editorial collaboratif Beatles = Pop-Rock Culturel:Beatles = Rock Acoustique:Beatles = ça dépend des titres pour le training Acoustico-editorial:Beatles = ça dépend de la base Le problème en soi est dépassé (la musicologie a tendance a s’effondrer avec le calcul) Problème de base: faire partager avec la machine les classifications des usagers…