Description et utilisation de l’information musicale

Présentation au sujet: "Description et utilisation de l’information musicale"— Transcription de la présentation:

1 Description et utilisation de l’information musicale
Michel Fingerhut Médiathèque & BE&M IRCAM – Centre Pompidou 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

2 Avancée technologique
La problématique de « la maîtrise des techniques usuelles de l’information et de la communication » Avancée technologique Effets Stockage Volume croissant de contenus musicaux sous forme numérique (en local) Puissance de calcul Méthodes plus rapides de production de contenus et d’extraction de sens Réseau Volume croissant de contenus musicaux sous forme numérique (à distance) Production de sens (liens, annotations) Besoin de… ... méthodes pertinentes de conservation, de stockage, d’organisation, d’identification, de localisation, d’enrichissement et d’accès aux informations et aux contenus à spécificité musicale. 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

3 Cartographie simplifiée de l’information musicale
utilisateur ayant droit cognitif, social réseaux sociaux interaction annotation DRM musicologie multimédia audio données interprétation similarité forme orchestration playlistes analyse synchronisation, résumés métadonnées similarité théorie mélodie tonalité… harmonie polyphonie tempo instrumentation indexation genre information extraction et reconnaissance de formes… sémantique motifs structure accords phrases dynamique rythme extraction de caractéristique, identification descripteurs musicale acoustique concept → signe → signal → signe → concept caractéristiques durée hauteur timbre intensité spatial salle … empreinte symbolique données extraction de hauteur, de voix métadonnées automatique textuel partition texte audio goût,humeur… données The first view of MIR directly derives from the definition which we just gave, as it shows the data (external – in white; stored – in blue) and the actions (red arrows) used to extract and produce the information (in yellow). The actors (author, composer, performer, librarian, user, rights owner) are shown in pink boxes (note: the color doesn’t show in the PDF). They not only produce the data, manipulate it to produce information which they search, but are themselves the subject of information (metadata about composers and performers, e.g.). This very schematic diagram highlights trends we’ve seen throughout this IAML-IASA congress: the integration of audiovisual, symbolic and textual data – of collections and archives the integration of data and metadata (as Rainer Hubert illustrated in his talk by speaking of data, metadata, metametadata, metametametadata… at the Documentation session). A few remarks: Fingerprint is a (hopefully) unique small set of features (characteristic elements) excerpted from a sound file, allowing to discriminate it from any other sound file. We’ll see an example of music summarization later in the talk. There is not a unique way in which two pieces may be similar, and so there are many ways in which similarity can be computed: melodic similarity is the most obvious one - but even in this case, there are many definitions of the « closeness » of two melodies: e.g., edit distance (by how many notes the two melodies differ) which does not really take into consideration musical considerations (for example, a minor variant of a melody could be « closer » to the original than a random variant with even less syntactic alterations). So it all depends on the metric (the measure of distance) that is chosen to measure the resemblance. Other than melodic similarity, there are studies to compute rhythmic and timbral similarities, genre and style similarities, etc. Among applications: determine which pieces might correspond to the style of a composer; produce playlists for a user by studying the music he likes and find « similar » pieces, produce summaries automatically, etc. The flashing elements at the last stage of this slide indicate what it takes to produce incipits automatically. Actually, incipits are a particular case of an indexation of a piece by melody (or by musical segments). symbolique paroles critique son logiciels info. obj. numérique OCR papier publications exécution (live, enregistrée) physique musique bibliothécaire œuvre abstrait auteur interprète compositeur

4 Traitements de l’information
Prétraitement OCR, numérisation, compression Codage, notation Extraction de caractéristiques Segmentation Reconnaissance des instruments Reconnaissance de la voix Indexation Identification Clustering Classification Extraction Mélodie, tonalité, harmonie, rythme… Analyse structurelle Polyphonie Répétition Similarité Production de résumés Organisation Bases de données, systèmes, réseaux Compression Synchronisation Métadonnées Recherche de contenus Critères objectifs Métadonnées (nom, titre, période, genre, instrumentation…) Texte intégral (avec ou sans balises sémantiques) Recherche par exemple (mélodie - chantonnement, contour, rythme, tonalité, harmonie…) Similarité Caractéristiques acoustiques Critères subjectifs Humeur Goût, popularité Accès et utilisation Navigation dans les collections et dans les œuvres Playlists (Re)production (annotation, combinaison, transformation) Gestion des droits Filigranes Conservation à long terme Transcodage 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

5 Séminaire GRM - Ircam - Ministère de l'Éducation nationale
Métadonnées Données produites humainement ou automatiquement, servant à l’identification, la description, la localisation, l’accès et la conservation de ressources (objets ou services). Elles peuvent se trouver en dehors de la ressource (dans un catalogue) ou dedans (par exemple, les tags ID3 des fichiers MP3). 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

6 Séminaire GRM - Ircam - Ministère de l'Éducation nationale
Catalogage Production humaine d’une notice bibliographique descriptive d’une ressource particulière, reprenant surtout ses caractéristiques externes et servant à son identification. Ressource = document, événement, personne, organisme… Cf. présentation du portail cet après-midi. 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

7 Séminaire GRM - Ircam - Ministère de l'Éducation nationale
Indexation Description humaine ou automatique des concepts d’un document à l’aide de mots-clé (normalisés ou non). Types de mots-clé Taxonomie : Libre (folksonomie, tags…) Liste fermée (prédéterminée) Thésaurus (hiérarchie) – ex. classification organologique Sachs/Hornbostel Ontologie (hiérarchie + logique) – ex. quatuor = quatre instruments Producteur Contrôlé (professionnels, propriétaire) Ouvert (tous publics - tags) 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

8 Séminaire GRM - Ircam - Ministère de l'Éducation nationale
Exemple de thésaurus Personne Musicien Chef d’orchestre Instrumentiste Flûtiste Pianiste Violoncelliste … Chanteur Basse Baryton Ténor Contralto Mezzo Soprano Lyrique Dramatique Colorature Ecrivain Peintre 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

9 Séminaire GRM - Ircam - Ministère de l'Éducation nationale
Sens La sémantique est décrite à l’aide de : Balisage annoté Liens Liens annotés La description peut être produite manuellement ou automatiquement Les annotations ont un « sens » (ontologies) qui permet de raisonner 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

10 Moteur de recherche par tags
last-fm.com 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

11 Moteur de recherche par exemple
14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

12 Recherche de thèmes par mélodie, par contour, par tonalité…
themefinder.org 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

13 Exemple de navigation dans une œuvre
14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

14 Exemple de navigation dans un corpus important
Search Inside The Music research.sun.com 14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

15 Exemple de navigation dans l’information (cartographie sémantique)
14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale

16 Pour plus de renseignements
14 juin 2007 Séminaire GRM - Ircam - Ministère de l'Éducation nationale