Description et utilisation de l’information musicale Michel Fingerhut Médiathèque & BE&M IRCAM – Centre Pompidou 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Avancée technologique La problématique de « la maîtrise des techniques usuelles de l’information et de la communication » Avancée technologique Effets Stockage Volume croissant de contenus musicaux sous forme numérique (en local) Puissance de calcul Méthodes plus rapides de production de contenus et d’extraction de sens Réseau Volume croissant de contenus musicaux sous forme numérique (à distance) Production de sens (liens, annotations) Besoin de… ... méthodes pertinentes de conservation, de stockage, d’organisation, d’identification, de localisation, d’enrichissement et d’accès aux informations et aux contenus à spécificité musicale. 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Cartographie simplifiée de l’information musicale utilisateur ayant droit cognitif, social réseaux sociaux interaction annotation DRM musicologie multimédia audio données interprétation similarité forme orchestration playlistes analyse synchronisation, résumés métadonnées similarité théorie mélodie tonalité… harmonie polyphonie tempo instrumentation indexation genre information extraction et reconnaissance de formes… sémantique motifs structure accords phrases dynamique rythme extraction de caractéristique, identification descripteurs musicale acoustique concept → signe → signal → signe → concept caractéristiques durée hauteur timbre intensité spatial salle … empreinte symbolique données extraction de hauteur, de voix métadonnées automatique textuel partition texte audio goût,humeur… données The first view of MIR directly derives from the definition which we just gave, as it shows the data (external – in white; stored – in blue) and the actions (red arrows) used to extract and produce the information (in yellow). The actors (author, composer, performer, librarian, user, rights owner) are shown in pink boxes (note: the color doesn’t show in the PDF). They not only produce the data, manipulate it to produce information which they search, but are themselves the subject of information (metadata about composers and performers, e.g.). This very schematic diagram highlights trends we’ve seen throughout this IAML-IASA congress: the integration of audiovisual, symbolic and textual data – of collections and archives the integration of data and metadata (as Rainer Hubert illustrated in his talk by speaking of data, metadata, metametadata, metametametadata… at the Documentation session). A few remarks: Fingerprint is a (hopefully) unique small set of features (characteristic elements) excerpted from a sound file, allowing to discriminate it from any other sound file. We’ll see an example of music summarization later in the talk. There is not a unique way in which two pieces may be similar, and so there are many ways in which similarity can be computed: melodic similarity is the most obvious one - but even in this case, there are many definitions of the « closeness » of two melodies: e.g., edit distance (by how many notes the two melodies differ) which does not really take into consideration musical considerations (for example, a minor variant of a melody could be « closer » to the original than a random variant with even less syntactic alterations). So it all depends on the metric (the measure of distance) that is chosen to measure the resemblance. Other than melodic similarity, there are studies to compute rhythmic and timbral similarities, genre and style similarities, etc. Among applications: determine which pieces might correspond to the style of a composer; produce playlists for a user by studying the music he likes and find « similar » pieces, produce summaries automatically, etc. The flashing elements at the last stage of this slide indicate what it takes to produce incipits automatically. Actually, incipits are a particular case of an indexation of a piece by melody (or by musical segments). symbolique paroles critique son logiciels info. obj. numérique OCR papier publications exécution (live, enregistrée) physique musique bibliothécaire œuvre abstrait auteur interprète compositeur

Traitements de l’information Prétraitement OCR, numérisation, compression Codage, notation Extraction de caractéristiques Segmentation Reconnaissance des instruments Reconnaissance de la voix Indexation Identification Clustering Classification Extraction Mélodie, tonalité, harmonie, rythme… Analyse structurelle Polyphonie Répétition Similarité Production de résumés Organisation Bases de données, systèmes, réseaux Compression Synchronisation Métadonnées Recherche de contenus Critères objectifs Métadonnées (nom, titre, période, genre, instrumentation…) Texte intégral (avec ou sans balises sémantiques) Recherche par exemple (mélodie - chantonnement, contour, rythme, tonalité, harmonie…) Similarité Caractéristiques acoustiques Critères subjectifs Humeur Goût, popularité Accès et utilisation Navigation dans les collections et dans les œuvres Playlists (Re)production (annotation, combinaison, transformation) Gestion des droits Filigranes Conservation à long terme Transcodage 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Séminaire GRM - Ircam - Ministère de l'Éducation nationale Métadonnées Données produites humainement ou automatiquement, servant à l’identification, la description, la localisation, l’accès et la conservation de ressources (objets ou services). Elles peuvent se trouver en dehors de la ressource (dans un catalogue) ou dedans (par exemple, les tags ID3 des fichiers MP3). 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Séminaire GRM - Ircam - Ministère de l'Éducation nationale Catalogage Production humaine d’une notice bibliographique descriptive d’une ressource particulière, reprenant surtout ses caractéristiques externes et servant à son identification. Ressource = document, événement, personne, organisme… Cf. présentation du portail cet après-midi. 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Séminaire GRM - Ircam - Ministère de l'Éducation nationale Indexation Description humaine ou automatique des concepts d’un document à l’aide de mots-clé (normalisés ou non). Types de mots-clé Taxonomie : Libre (folksonomie, tags…) Liste fermée (prédéterminée) Thésaurus (hiérarchie) – ex. classification organologique Sachs/Hornbostel Ontologie (hiérarchie + logique) – ex. quatuor = quatre instruments Producteur Contrôlé (professionnels, propriétaire) Ouvert (tous publics - tags) 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Séminaire GRM - Ircam - Ministère de l'Éducation nationale Exemple de thésaurus Personne Musicien Chef d’orchestre Instrumentiste Flûtiste Pianiste Violoncelliste … Chanteur Basse Baryton Ténor Contralto Mezzo Soprano Lyrique Dramatique Colorature Ecrivain Peintre 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Séminaire GRM - Ircam - Ministère de l'Éducation nationale Sens La sémantique est décrite à l’aide de : Balisage annoté Liens Liens annotés La description peut être produite manuellement ou automatiquement Les annotations ont un « sens » (ontologies) qui permet de raisonner 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Moteur de recherche par tags last-fm.com 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Moteur de recherche par exemple www.sunrise.ch/fr/funinfo/mobilefun/musicfinder.htm 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Recherche de thèmes par mélodie, par contour, par tonalité… themefinder.org 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Exemple de navigation dans une œuvre www.ircam.fr 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Exemple de navigation dans un corpus important Search Inside The Music research.sun.com 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Exemple de navigation dans l’information (cartographie sémantique) www.ontopia.net 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

Pour plus de renseignements mf@ircam.fr 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale