HEG – I+D février-juin 2012 Le document sonore numérique et sa gestion Représentation et analyse du son Troisième partie 11, 25 mai, 1 er et 8 juin 2012

HEG – I+D février-juin 2012 Plan du cours Objectif : gestion professionnelle L’environnement sonore numérique: production, marché, distribution Notions techniques Essence et métadonnées : principes Gestion intégrée en réseau Numérisation des documents existants Métadonnées :schémas, profils, ontologies Vers de nouvelles solutions d’accès au contenu

HEG – I+D février-juin 2012 Enregistrement sonore : hier

HEG – I+D février-juin 2012 Enregistrement sonore : aujourd’hui

HEG – I+D février-juin 2012 Généralisation du document sonore numérique Principe de base : PCM Au début, le CD (encore un support…) Le son sur internet : la problématique des formats, de la compression, de la distribution Commercialisation en ligne : –mesures techniques de protection, –Digital Rights Management (DRM), –compatibilité, –tarifs… Notre point de vue : celui de l’utilisation professionnelle, dans un environnement intégré.

HEG – I+D février-juin 2012 Le grand public… Voit les choses sous l’angle de la distribution : Omniprésence de l’informatique Équipements : ordinateur, réseau, baladeur, PDA, smartphone, … Nouvelles formes d’accès au son et à l’image Diversification de l’offre : musique, vidéo, multimédia, podcasting, réseaux sociaux… Bande passante et qualité croissantes

HEG – I+D février-juin 2012 Le professionnel… Prend en compte la production et la mise à disposition : Évolution naturelle des techniques, convergence multimédia (texte, son, image...) : les sons sont désormais « born digital » Équipements informatiques standards Coûts décroissants du stockage Recherche de rationalisation des processus Intégration des sons (« essences ») et des données les concernant (« métadonnées ») Reproduction sans perte : un des (seuls ?) moyens de lutter contre l’obsolescence des supports analogiques

HEG – I+D février-juin 2012 Notions techniques Stockage de fichiers Codage numérique Compression, réduction de débit Formats, normes –essence –métadonnées Transfert et distribution de fichiers

HEG – I+D février-juin 2012 RAPPEL : Fréquence d’échantillonnage : une fréquence trop basse peut conduire à des aberrations dans le un rendu du son Fréquence adaptée :Fréquence insuffisante :

HEG – I+D février-juin 2012 RAPPEL : Quantification: le nombre de bits utilisé pour exprimer chaque échantillon influence le rendu qualitatif du son

HEG – I+D février-juin 2012 Compression par un algorithme psycho-acoustique : adapter le signal numérisé au seuil de sensibilité de l’oreille humaine (éliminer les sons de fréquence/intensité inaudibles

HEG – I+D février-juin 2012 Masquage : les sons les plus forts modifient la courbe de sensibilité dans leur voisinage en temps et en fréquence

HEG – I+D février-juin 2012 Formats numériques Fréquence d’échantillonnage (= nombre d’échantillons par seconde, par exemple 44'100 pour le CD, 48'000 dans les normes radiophoniques UER / AES), Nombre de bits par échantillon (quantification ) : 8, 16, 20, 24..., 16 pour le CD. De cette valeur dépend la dynamique de l’enregistrement (rapport entre le signal sonore et le bruit de fond Nombre de canaux (2 pour la stéréo, jusqu’à pour le « surround » = Home Cinema, et davantage en utilisation prof.) Codage : deux types de codages principaux : –linéaire (= l’information produite lors de l’enregistrement, au niveau de chaque échantillon, est stockée telle quelle, en totalité, comme c’est le cas dans un CD) –compressé (= on traite le flux binaire à travers un algorithme psycho-acoustique, pour ne retenir que les informations jugées significatives. Cela équivaut à une perte d’information, mais réduit sensiblement la masse à stocker ou à transmettre). NB : les normes définissent les processus de décompression, et non de compression. –NB : il existe des systèmes de compression sans perte, p.ex. FLAC

HEG – I+D février-juin 2012 Les principaux formats FormatDénominationApplicationExtension de fichjer Remarque WAVWaveform Audio Format Son linéaire.wavFormat créé par Microsoft. Différents niveaux de qualité linéaires BWFBroadcast Wave Format Production, stockage professional.wav,.bwfFormat défini par l’EBU / UER sur la base du WAV. Peut contenir PCM ou Mpeg 1, 2, 3 AIFFAudio Interchange Format Fichier d’échange pour plate- formes informatique s Mac et PC.aiffFormat linéaire développé par Apple MPEG1 layer 1, 2, 3Musicam (layer 1, 2), MP3 (layer 3) Son compressé professionnel ou graqnd public mpg,.mpe,.mpeg,.mp3 Compression avec perte MP3MPEG 1 L 3Son compressé grand public.mp3Très bon rapport qualité / débit. Compression env. 1 : 10. Gère les tags ID3 AACAudio Advanced Coding DiffusionFait partie de la norme Mpeg 4 (utilisation propriétaire par Apple)

HEG – I+D février-juin 2012 Les principaux formats (2) WMAWindows Media Audio Webcast Streaming et download.wmFormat de Microsoft (Windows Media). Intègre une gestion de DRM Real audioReal MediaWebcast Streaming et download.rmFormat de Real Network Apple Quick TimeQuick TimeWebcast Streaming et download.movFormat Apple Mpeg2 layer 1, 2, 3MusicamMédias video.mpg,.mpe,.mpeg DVD, DVB, DAB?, audio multichannel AC3Dolby DigitalDVD, audio multichannel ASFAdvanced Streaming Format Webcast Streaming.asfFormat de Microsoft DSDDirect Stream Digital Diffusion.dsdFormat du Super Audio CD (SaCD) OGGOgg VorbisWebcast streaming ou download.oggCompression de bonne qualité, Open source FLACFree Lossless Audio Codec Algorithme de compression sans perte.flacPermet de réduire la taille des fichiers de 30 à 70%. Open source

HEG – I+D février-juin 2012 Distribution du son numérique Deux modes différents : –Flux continu, « streaming » (p.ex.RealAudio) –Téléchargement de fichier Mesures techniques de protection DRM, Digital Rights Management Problèmes de compatibilité Accès aux métadonnées

HEG – I+D février-juin 2012 Essence et métadonnées

HEG – I+D février-juin 2012 Producteur Titre Genre Date

HEG – I+D février-juin 2012 Essence et métadonnées

HEG – I+D février-juin 2012 Les métadonnées dans la gestion d’actifs numériques Actif numérique (« Asset ») ContenuDroits EssenceMétadonnées

HEG – I+D février-juin 2012 Essence et Métadonnées Variantes d’intégration Base de données Essence Métadonnées Système source Utilisateur humain ou autre système Fichier Essence Métadonnées 1 Fichier Essence Fichier Métadonnées 2 3 Fichier Clé Essence Métadonnées Requête

HEG – I+D février-juin 2012 A. Conception traditionnelle A.

HEG – I+D février-juin 2012 Content repository Acquisition Production Distribution M M M E E E M = Métadonnées E = Essence B. Conception intégrée en réseau

HEG – I+D février-juin 2012 Les problèmes à résoudre Moyens d’enregistrement (notamment conversion Analogique / Numérique =A / D) Normalisation, stabilité des formats, Sécurisation des accès, Protection des droits (DRM = Digital Rights Management), Authenticité de l’information, marquage (« Watermarking»), Modalités de commercialisation : détermination des prix, facturation, Identification et description des contenus (métadonnées), Pérennité à long terme de l’information, Intégration des anciens contenus analogiques (numérisation)

HEG – I+D février-juin 2012 Des archives analogiques au Media Asset Management L’enrichissement des métadonnées Etapes Acquisition Production DiffusionArchivage Essence Métadonnées Acteurs journalistes réalisateurs producteurs documentalistes preneurs de présentateurs son

HEG – I+D février-juin 2012 Exemple : BWF (Broadcast Wave Format) Origine UER / EBU Base : Microsoft RIFF WAVE (.wav) Utilisation : archivage / échange des enregistrements radiophoniques Essence audio (linéaire ou compressée) + métadonnées

HEG – I+D février-juin 2012

Exemple d’un système d’archivage audio : SIRANAU (Système Intégré Radio pour l’Archivage Numérique AUdio) «Base de données multimédia » Recherche unique  Reprise des données PHONO, CAPRI (Basis)  Reprise des bases internes : Bruitages, Inventaires archives, Photos (Access) Synchronisation des bases Phono et Capri (phase intermédiaire) Conversion des notices Conversion des thésaurus Utilisation des notices pour listes de diffusion : STRIP « système de traitement informatique de la programmation »

HEG – I+D février-juin 2012 Base de données multimédia (BDDM) PHONO CAPRI BDDM STOCKAGE (fichiers numériques) BRUITAGES SUPPORTS ANALO- GIQUES ARCHIVES PHOTOS

HEG – I+D février-juin 2012 SIRANAU - Modèle documentaire simplifié Support Physique C_MAT Support Numérique C_NUM Document DOC Evénement EV Œuvre OEU Personne PE Associations avec autres doc. Relations hiérarchiques entre documents Fichiers numériques Document sonore DOC_S Document Image DOC_I Document Texte DOC_T Support CONT Relations hiérarchiques entre documents Fichiers de référence

HEG – I+D février-juin 2012 Structuration hiérarchique Son Photos / images VidéeoTexte Musique classique / autres Musiques ParléBruitages 1. Niveau générique Album Concert Enregistrement Album Enregistrement Emission Enregistrement Album Dossier photo Reportage Album 2. Regroupe- ment intermé- diaire Oeuvre 3. Unité logique élémentaire Morceau Mouvement SujetBruitageImageVidéoTexte 4. Extrait

HEG – I+D février-juin 2012 Intégration : exemple RSR

HEG – I+D février-juin 2012 Intégration : exemple TSR

HEG – I+D février-juin 2012 Infrastructure Technique Serveur de fichiers Plusieurs Serveurs d’Application Serveur de Base de Données en Cluster Serveurs de Production Système de Stockage WWW Serveur d’Application dédié

HEG – I+D février-juin 2012 Système de production Déchargement Système de stockage numérique Rechargement Réseau bureautique Recherche et Préécoute Archives analogiques Numérisation Internet Diffusion Web + acquisition sons STOCKAGE DE MASSE Stockage multimédia

HEG – I+D février-juin 2012 La numérisation des documents existants Étapes de l’opération : 1.Analyse de la collection et la définition de priorités (selon état de conservation, contenu, demandes, etc. ) 2.Financement ? 3.Capacité en personnel ? 4.Travail en interne ou prestataire externe ? 5.Définition des critères et de procédures de sélection, 6.Préparation et éventuelle restauration des supports avant numérisation, 7.Données documentaires informatisées : - sont-elles disponibles ? - doivent-elles être élaborées en parallèle avec la numérisation?

HEG – I+D février-juin 2012 La numérisation des documents existants (2) Étapes de l’opération (technique) 8.Définition de normes techniques 9.Choix des équipements 10.Choix d’un support intermédiaire (ou) 11.Disponibilité d’un système de stockage numérique avec les capacités nécessaires, en liaison avec une base documentaire 12.Organisation des processus de travail, 13.Contrôle de la qualité 14.les modalités de la consultation ou de la distribution 15.Devenir des originaux

HEG – I+D février-juin 2012 CDP Digital Audio Working Group Digital Audio Best Practices Version 2.0 November 2005

HEG – I+D février-juin 2012 Numérisation : lecture et logiciel Quadriga

HEG – I+D février-juin 2012 Les schémas de métadonnées Content repository Acquisition Production Distribution M M M E E E M = Métadonnées E = Essence Rappel :

HEG – I+D février-juin TQC KAESER LENOIRPA :46: FP 26' EDOUARD DESOR, UN KALEIDOSCOPE AU XIXe SIECLE AVEC MARC-ANTOINE KAESER, PROFESSEUR DE PREHISTOIRE A L'UNIVERSITE DE FRIBOURG, CONSERVATOIEEUR AU MUSEE NATIONAL SUISSE A ZURICH, AUTEUR DE "L'UNIVERS DU PREHISTORIEN" EDOUARD DESOR ( ), ED. L'HARMATTAN, 2004 PAR CHRISTIAN CIOCCA REAL: PATRICK LENOIR FIGURE SECONDAIRE DU XIXE SIECLE, E. DESOR FUT POURTANT UN REMARQUABLE MEDIATEUR DE SON TEMPS EN SUISSE ET AU PLAN INTERNATIONAL. ETABLI A NEUCHATEL APRES UNE VIE MOUVEMENTEE A PARIS ET AUX ETATS-UNIS, IL VIVIFIA LA VIE SCIENTIFIQUE EUROPENNE EN MELANT LES CONNAISSANCES ANTIQUAIRES, C'EST-A-DIRE L'ARCHEOLOGIE PREHISTORIQUE. EGALEMENT ENGAGE A TOUS LES ECHELONS POLITIQUES SUISSES, IL DEVINT PRESIDENT DU CONSEIL NATIONAL DANS LES RANG RADICAUX ET SOUTINT EFFIACEMENT LA CARRIERE DU CONSEILLER FEDERAL NEUCHATELOIS NUMA DROZ. CETTE PREMIERE GRANDE BIOGRAPHIE NOUS FAIT DECOUVRIR UN HOMME SINGULIER DANS SON MILIEU. UN PARCOURS AU SERVICE DE LA MICROHISTOIRE TQC BESSON CH CHAPPUFR :51: FIN PAROLE : 28'16'' LE SECRET BANCAIRE, FUITE ET FIN ? AVEC SYLVAIN BESSON, JOURNALISTE ET CHEF DE LA RUBRIQUE "ENQUETES" AU TEMPS, AUTEUR DE "LE SECRET BANCAIRE - LA PLACE FINANCIERE SUISSE SOUS PRESSION" COLL. LE SAVOIR SUISSE, 2004 PAR CHRISTIAN CIOCCA REAL: FREDERIC CHAPPUIS CONCU LEGALEMENT EN 1934 DANS LA LOI FEDERALE SUR LES BANQUES, LE SECRET BANCAIRE HELVETIQUE S'EST IMPOSE DANS LE TISSU ECONOMIQUE ET SOCIAL DU PAYS. AUJOURD'HUI REMIS EN CAUSE PAR DE NOMBREUX ETATS ET L'HARMONISATION FISCALE EUROPEENNE, SA SUPPRESSION POSE RIEN MOINS QUE LE PROBLEME DE LA SURVIE ECONOMIQUE DE LA SUISSE Exemple tiré de SIRANAU

HEG – I+D février-juin 2012 Les schémas de métadonnées Gestion du son numérique en réseau dans un environnement complexe : Intégration Enrichissement progressif Transfert essence / métadonnées entre des applications différentes Compatibilité, interopérabilité Possibilités d’échange avec l’extérieur NE DEFINISSENT PAS une base de données !

HEG – I+D février-juin 2012 Caractéristiques d’un schéma de métadonnées Basé sur une norme reconnue Adapté à la source des métadonnées Définit la syntaxe et les « refinements » Problèmes à résoudre : –Langues –Vocabulaires

HEG – I+D février-juin 2012 Dublin Core : 15 éléments de base ContenuPropriété intellectuelleMatérialisation TitreCréateurDate SujetEditeurType DescriptionContributeurFormat SourceDroitsIdentifiant Langage Relation Couverture NB. Ce regroupement en trois catégories est purement indicatif !

HEG – I+D février-juin 2012 EBU Core : basé sur le DC Core Metadata Set Elements : Title Creator Subject Description Publisher Contributor Date Type Format Identifier Source Language Relation Coverage Rights Version Publication History Part Metadata Provider Entity (Contact Details, Organisation Details, Role), Note Type, Status, Format and Date attribute groups

HEG – I+D février-juin 2012 "If you can't find it, you don't have it!", this should not happen in modern IT-based production environments. Metadata is the glue between production operations. Documenting audiovisual resources with EBUCore information is a minimum requirement corresponding to fundamental investment with guaranteed return.

HEG – I+D février-juin 2012 Références et exemples Un schéma universel : Dublin Core (Dublin Core Metadata Initiative DCMI) : Adaptation pour les archives radio : EBU Core Metadata Set for Radio Archives) Et encore : PBCore (Radios +TV publiques US) Voir notamment :

HEG – I+D février-juin 2012 Exemple de base de données utilisant Dublin Core : MEMOBASE (base de données de documents audiovisuels traités dans le cadre des projets de MEMORIAV) :

HEG – I+D février-juin 2012 METS Metadata Encoding & Transmission Standard Norme définissant un schéma d’encodage pour les métadonnées descriptives, administratives et structurelles se rapportant aux objets placés dans une bibliothèque numérique. Les métadonnées sont exprimées en XML METS est né de « Making of America », projet de bibliothèque numérique de sciences sociales La norme est maintenue par la Bibliothèque du Congrès Voir : home.htmlhttp:// home.html

HEG – I+D février-juin 2012 METS Metadata Encoding & Transmission Standard 7 sections: –En-tête METS : identification du document –MD descriptives : externes ou internes –MD administratives : source, droits –Section des fichiers : composant l’objet numérique –Carte structurelle : structure hiérarchique –Liens structurels : hyperliens hiérarchiques –Comportement : exécutables avec le contenu Exemple : METS\sample7.xmlMETS\sample7.xml

HEG – I+D février-juin 2012 Structuration de METS Un fichier, répondant au modèle OAIS, contenant: - les métadonnées d’un document. - des pointeurs vers des métadonnées stockées ailleurs. - éventuellement, les fichiers qui composent le document. Sept sections METS Header : En-tête. Métadonnées concernant le document METS lui-même. Descriptive Metadata : Métadonnées descriptives, externes avec des liens ou encapsulées dans le document. Administrative Metadata : Métadonnées administratives, externes ou encapsulées. Technique, gestion des droits, source et provenance. Métadonnées essentielles pour la conservation à long terme du document numérique. File Section :Liste des fichiers (noms et localisations) composant l’objet. Structural Map : Carte de structure. Hiérarchie physique ou logique d'objets. La carte de structure comprend la description du plan du document. Permet de reconstruire la navigation dans le document. Structural Links :Liens hypertextes entre les objets. Behavior : Association d’exécutables. Traitement / exécution d'objets permettant le fonctionnement de l’objet complexe.

HEG – I+D février-juin 2012 Pérennité : OAIS Voir : ISO 14721:2003 ‘Reference Model for an Open Archival Information System (OAIS)

HEG – I+D février-juin 2012 EBU Class Conceptual Data Model (CCDM) Editorial audio-visual classes

HEG – I+D février-juin 2012 EBU Class Conceptual Data Model (CCDM): Additional non audiovisual classes

HEG – I+D février-juin 2012 MXF Material Exchange Format Format surtout destiné à la vidéo professionnelle Peut contenir : –de la vidéo –du son –des métadonnées Peut être adapté au streaming Structure du fichier basée sur KLV (=Key, Length, Value) En cours d’introduction Divers niveaux de complexité Nombreux problèmes de compatibilité !

HEG – I+D février-juin 2012 Schéma de métadonnées DMS-1 (utilisé notamment dans MXF) (schéma conceptuel, extrait) DMS-1 Dictionn.

HEG – I+D février-juin 2012 MXF, organisation du fichier Système KLV = Key, Length, Value

HEG – I+D février-juin 2012 MXF : variantes (operational patterns)

HEG – I+D février-juin 2012 MXF : insertion des métadonnées

HEG – I+D février-juin 2012 MXF : structure des métadonnées

HEG – I+D février-juin 2012 Méthodes avancées d’accès au contenu Problème : le document sonore nécessite une écoute en temps réel. Comment peut-on en faciliter le traitement documentaire ?  Segmentation  Identification de plages  Reconnaissance automatique des locuteurs  Reconnaissance de morceaux de musique  Reconnaissance des instruments de musique  Séparation des sources audio simultanées (parlé / musique / mixte)  « Speech to text »  « Music to score »  Analyse statistique, etc.

HEG – I+D février-juin 2012 Un exemple : le projet européen MEMORIES Objectif : développer des méthodes innovantes pour : –décrire –analyser –gérer –rechercher les documents sonores Voir :

HEG – I+D février-juin 2012 MEMORIES : description Les documents sonores sont décrits dans un Profile, grâce à une approche ontologique Des outils permettent d’enrichir la description : – « Single Sensor Source Separation » : séparation des sources mono (voix, instruments, bruits, –Segmentation : reconnaissance des plages parlées, musicales, etc –« Speech to Text » : transcription (semi-) automatique Les éléments sémantiques obtenus sont intégrés dans les métadonnées

HEG – I+D février-juin 2012 MEMORIES : Profile « Interview » Contribution de la RSR : matériel audio Principe : définir un profile spécifique pour les interviews Développement d’une ontologie spécifique Autres profiles : –Musique classique (NIRS) –Documents ethnographiques (UNESCO)

HEG – I+D février-juin 2012 Ontologies Définition : Représentation conceptualisée d’un champ de connaissances Modèle intégrant les concepts et les relations entre ces concepts Permettent à un système de raisonner à propos des objets du domaine concerné Sont très utilisées dans la description des objets du web (« web sémantique »)

HEG – I+D février-juin 2012 Ontologies Éléments constitutifs des ontologies : Classes (concepts, objets, entités) Instances (individus) Attributs (propriétés) Relations (hiérarchie, etc.) Les ontologies s’approchent des « bases de connaissances »

HEG – I+D février-juin 2012 Ontologies Un exemple : Music Ontology asses_Schemas Démonstration d’un éditeur d’ontologies : Protégé

HEG – I+D février-juin 2012

Audio Recording Interviewer Producer Agent Programme Schedule Channel [Orgnaization] Corporate Body Interviewee Interview Physical Carrier Person Audio File TimeLine Segment Content Music ContentSpoken Content Diffusion Source Profile “Interview” : Structuration des concepts

HEG – I+D février-juin 2012 Audio recording Cue line Audio component Annotation Interview recording Transcription Document Interview Interviewee Event Interviewer Interviewee Date Place Recording condition Programme Channel Production company Producer Physical person Moral person Technical agent Radio agent Interviewer Journalist Announcement Music opus Jingle Speech Document Archive document Begins at Ends at is part of is responsible of Date of transmission Time of transmission is a recording of is part of produces is a transcription of Begins at Ends at is an agent of is a recording of

HEG – I+D février-juin 2012 Examples of the INSTANCES of the RICH SEMANTIC MODELS InterviewEvent RICH SEMANTIC MODELS INTERVIEW EVENT Is used by BroadcastEvent Specialisation produce SpeechProgram hasPart Speech media of the interview of ‘Otto Preminger’ Instance of OPUS Specialisation hasPart Clip hasPart Specialisation Event Interview of Otto PREMINGER’ Instance of SpeechProgram of of interview of ‘Otto Preminger’ produce

HEG – I+D février-juin 2012 Example of a MediaResource RDF representation

HEG – I+D février-juin 2012 MEMORIES : gestion Développement d’un outil basé sur les standards, orienté vers la pérennité des contenus Conformité avec OAIS (Open Archive Information System), ISO 14721:2003 Recherche : système testé dans la recherche en génétique et génomique

HEG – I+D février-juin 2012 Outil de segmentation enrichissement des métadonnées Introduction Project explorerSegmentation editor Metadata Task list

HEG – I+D février-juin 2012