La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

La documentation audiovisuelle à lheure du numérique 27 juin 2003 Raphaël Troncy Institut National de lAudiovisuel Direction Recherche et Expérimentation.

Présentations similaires


Présentation au sujet: "La documentation audiovisuelle à lheure du numérique 27 juin 2003 Raphaël Troncy Institut National de lAudiovisuel Direction Recherche et Expérimentation."— Transcription de la présentation:

1 La documentation audiovisuelle à lheure du numérique 27 juin 2003 Raphaël Troncy Institut National de lAudiovisuel Direction Recherche et Expérimentation Tel :

2 Raphaël Troncy09/04/20041 Objectifs de lexposé Prendre la mesure de lapport du numérique pour la documentation audiovisuelle (ce que ça change !) Situer lapport des nouvelles technologies dans les pratiques concrètes de la documentation Amorcer une réflexion sur lévolution du rôle des documentalistes

3 Raphaël Troncy09/04/20042 Plan de lexposé De lanalogique au numérique : de nouvelles possibilités La création de descriptions de documents audiovisuels : automatique ou manuelle ? La représentation et la manipulation de ces descriptions : lapport XML Et demain … ?

4 Raphaël Troncy09/04/20043 Le document AV analogique Un support denregistrement Un support de restitution Dispositif de reconstruction de la lecture Un média hautement temporel

5 Raphaël Troncy09/04/20044 Le document AV analogique (suite) Documents temporels : –Regarder 10 min prend 10 min –Pour trouver une information située à la 10 ème minute, il faut regarder les 9 premières pas daccès direct à linformation Pour retrouver une information : –Localiser explicitement le contenu –Caractériser ce contenu nécessité dune description (ou indexation)

6 Raphaël Troncy09/04/20045 Notice documentaire Doc: n001 Support : K7-023 Auteur Description: ….. index indexation Support numérique recherche requêteutilisateur Segment montrant une élégante à Paris Support humain formulation K7-023 documents Support magnétique / photo projection cassettes Utiliser lAV analogique: regarder, retrouver

7 Raphaël Troncy09/04/20046 La convergence numérique Convergence actuelle des industries de contenu AV, de télécommunication et dinformatique Numérisation de la chaîne de production AV, de la création à la distribution Nouveaux outils « grand public » pour lenregistrement, le montage, la manipulation et la visualisation des données AV numériques

8 Raphaël Troncy09/04/20047 La numérisation : quest-ce que cest ? Numériser les contenus audiovisuels = les transformer en données informatiques Offre de nouvelles possibilités : –on peut stocker ces contenus dans des bases de données –on peut les échanger sur des réseaux –on peut automatiser laccès aux contenus

9 Raphaël Troncy09/04/20048 Automatisation de laccès (1) Exemple: Description de Journal Télévisé en analogique -00:25:32: TRAv public le long de la route du tour. Famille avec table, tente et enfant. Jeune femme: "Mon mari est un vrai passionné de vélo." -00:27:14: Buffet campagnard et barbecue : "On s'est réuni tout le village" -00:29:25: Homme néerlandais attablé au bord de la route, derrière lui une banderole "ALLEE le tour"

10 Raphaël Troncy09/04/20049 Automatisation de laccès (2) Exemple: Description de Journal Télévisé en numérique -Sujet 33 (durée 00:02:23) : TRAv public le long de la route du tour. Famille avec table, tente et enfant. Jeune femme: « Mon mari est un vrai passionné de vélo » Voir le passage -Sujet 34 (durée 00:01:58) : Buffet campagnard et barbecue : « On s'est réuni tout le village » Voir le passage

11 Raphaël Troncy09/04/ De lanalogique au numérique Situation analogique : –les index ne sont pas exploités par le dispositif de lecture (index et contenu sont sur des supports différents) –ils ne servent quà la recherche dinformation –impossibilité, en pratique, de naviguer dans un document audiovisuel Situation numérique : –on assiste à une destruction (uniformisation) du support –le programme de lecture peut utiliser les descriptions des contenus pour proposer différentes exploitations du contenu audiovisuel

12 Raphaël Troncy09/04/ naviguer documents AV descriptions …. composer rechercher Utiliser lAV numérique:

13 Raphaël Troncy09/04/ Naviguer grâce aux descriptions descriptions Texteloc = 153 char Imageloc = 12:01 mn

14 Raphaël Troncy09/04/ Best-of Structure } } 1er people de chaque 1er politique de chaque Composer grâce aux descriptions people interview politique Structure des magazines Mag 3Mag 1Mag 2 { { { Magazines disponibles Best of Compile people politique people politique

15 Raphaël Troncy09/04/ Chaîne de traitement documentaire dans un contexte massivement analogique Base documentaire Base documentaire Indexation Phase amont : alimentation de la base documentaire Archivage des supports Notices Magasin

16 Raphaël Troncy09/04/ Chaîne de traitement documentaire dans un contexte massivement analogique Requête Phase aval: interrogation de la base documentaire Traduction Résultat Base documentaire Base documentaire Magasin Exploitation

17 Raphaël Troncy09/04/ Chaîne documentaire numérique Base documentaire Traitement initial Traitement initial Base documentaire Base documentaire Exploitation Indexations supplémentaires Indexations supplémentaires Interrogation

18 Raphaël Troncy09/04/ De lindexation à la description Index : –Pointer vers, montrer où se trouve un contenu –Les index ne servent quà la recherche dinformation Description : –Souvent structurée –Les descriptions servent à rendre possible des usages de lAV (recherche structurée plus fine, composition de nouveaux documents, parcours de navigation …)

19 Raphaël Troncy09/04/ Descriptions : les problèmes clefs Créer les descriptions –Automatique ? Manuelle ? Représenter ces descriptions –Quel format documentaire ? Manipuler ces descriptions –Génie documentaire

20 Raphaël Troncy09/04/ Plan de lexposé De lanalogique au numérique : de nouvelles possibilités La création de descriptions de documents audiovisuels (exemple concret : lINA) La représentation et la manipulation de ces descriptions Et demain … ?

21 Raphaël Troncy09/04/ Créer des descriptions : différents modes dobtention Indexation automatique : –Permet le traitement de grands volumes de données Annotation manuelle : –Permet linterprétation des éléments abstraits proches de lusage visé Environnement de travail : –Permet de concilier la valeur ajoutée de lannotation aux outils automatiques

22 Raphaël Troncy09/04/ Créer des descriptions : le problème fondamental Objectif : –Déterminer des descripteurs représentant le contenu Problème fondamental : –Les documents audiovisuels ne sont pas alphabétiques Le flux AV ne se construit pas à partir dunités discrètes dénombrables dont la combinatoire détermine les possibilités de formulation Les descripteurs ne sont pas donnés avec le document, il faut les extraire ou les interpréter

23 Raphaël Troncy09/04/ Indexation automatique Objectif : –Extraire automatiquement des descripteurs du contenu Problème : –La détermination dun descripteur pertinent dépend du contexte dutilisation du document –Les algorithmes dextraction restent trop près de la nature physique des documents pour être exploitables Enjeu : –Mapper les résultats danalyse sur des descripteurs utiles

24 Raphaël Troncy09/04/ Indexation automatique Segmentation temporelle : plans, scènes ; Segmentation spatiale: détection de visage, reconnaissance de visage ; Transcription automatique de la parole ; Alignement AV/ transcription ; Reconnaissances dincrustation ; Etc.

25 Raphaël Troncy09/04/ Segmentation de la vidéo Permet un accès non linéaire à la vidéo Détection des « cut » –Basée sur le calcul de similarités entre images successives utilisant : la couleur le mouvement les résultats des algorithmes de compression (MPEG)

26 Raphaël Troncy09/04/ Segmentation de la vidéo (suite) Détection des transitions progressives –Fondus, volets, etc. –Basées sur des modèles statistiques doccurrence des différents types de transition

27 Raphaël Troncy09/04/ Exemple de segmentation en plan

28 Raphaël Troncy09/04/ Conclusion sur la segmentation de la vidéo L évaluation et la comparaison des résultats nécessite une vérité terrain Les performances des algorithmes sont « bonnes » pour les « cut » typiquement : –5% d oublis –15% de fausse détection Résultats moins bon pour les transitions progressives, particulièrement les fondus

29 Raphaël Troncy09/04/ Reconnaissance dévénements Caractérisation des plans par : –Détection des visages –Extraction des textes incrustés –Détection des flashs Permet daméliorer la segmentation en plan Indication sur lapparition dun personnage important à lécran

30 Raphaël Troncy09/04/ Détection des visages Permet de : –Caractériser les plans en gros plan, plan moyen, etc. –Donner des indications pour lannotation Algorithmes basés sur : –Des analyses de limage à différentes résolutions –La couleur –Un modèle de la forme du visage

31 Raphaël Troncy09/04/ Détection des visages (suite) Reconnaissance des visages : mettre un nom sur le visage –Base de connaissance contenant tous les visages ! –Mise en correspondance probabiliste Conclusion: –Méthode efficace avec des visages vus de face 20% d oublis 3% de fausse détection –Algorithmes devant être améliorés en utilisant la redondance dapparition des visages dans la vidéo

32 Raphaël Troncy09/04/ Exemple de détection de visages

33 Raphaël Troncy09/04/ Extraction de textes Informations complémentaires dans les J.T., les émissions sportives, etc. Localisation basée sur lapparition et la disparition brutale du texte au milieu dun plan. Lecture par des techniques dOCR après séparation du fond

34 Raphaël Troncy09/04/ Exemple de détection de textes

35 Raphaël Troncy09/04/ Analyse du mouvement Segmentation spatio-temporelle –Identification de régions en translation, rotation, etc. dans limage Analyse des mouvements de caméra –Panoramique, zoom, travelling, etc. Indices de mouvement –Permet de caractériser les plans par la direction et la vitesse du mouvement principal Création de mosaïque –Résumé du mouvement de la caméra, dun objet

36 Raphaël Troncy09/04/ Exemple de détection de régions en mouvement

37 Raphaël Troncy09/04/ Exemple de mosaïque (mouvement de caméra)

38 Raphaël Troncy09/04/ Extraction dimages clés Permet dobtenir la représentation du contenu dun plan avec un nombre limité dimages. Basée sur les changements de couleurs ou de mouvements dominants dans les images dun même plan.

39 Raphaël Troncy09/04/ Extraction dimages clés (suite) Exemple de 9 plans résumés par 12 images clés

40 Raphaël Troncy09/04/ Structuration de la vidéo Environ 1000 plans par heure de vidéo : –Difficile de naviguer rapidement dans 1000 images clés ! nécessité de retrouver (ou définir) une structure moins fine de la vidéo (scène, séquence, unité narrative, etc.) Permet de retrouver plus facilement des événements importants ou de saisir lessence du contenu du document

41 Raphaël Troncy09/04/ Structuration de la vidéo (suite) « Structuration » obtenue en créant : –des résumés de vidéo : montage de différents plans représentatifs, i.e. contenant : beaucoup de mouvement et de contraste, fortement colorés, etc. –des classes de plans similaires contraintes par le temps classification basée sur la colorimétrie permet par exemple de regrouper les champs, contre- champs.

42 Raphaël Troncy09/04/ Structuration de la vidéo (suite) « Structuration » obtenue en créant : –des séquences en utilisant un modèle de structure de documents basé sur des règles de montage connues : transitions (fondus, etc.), rythme des changement de plan, musique –ou en utilisant un modèle de la structure du document : exemple : J.T. composé de séquences plateau et de reportages en alternance

43 Raphaël Troncy09/04/ Analyse de lAudio Analyse du son –Segmentation en zones de silence, parole ou musique –Permet de : caractériser le contexte audio dun ensemble dimages détecter des changement de scènes améliorer les performances de la transcription automatique

44 Raphaël Troncy09/04/ Analyse de l Audio (suite) Analyse de la parole –Techniques éprouvées basées sur les modèles de Markov cachés et un apprentissage capable de reconnaître des milliers de mots –Permet : dobtenir une transcription avec de bons résultats de retrouver les mots importants (issus dun dictionnaire) dans la bande son « word spotting » de localiser les changements de locuteur

45 Raphaël Troncy09/04/ Analyse de lAudio (suite) Segmentation Détection de locuteur Transcription how are youi m fine let s start

46 Raphaël Troncy09/04/ Solutions industrielles MediaSite (Informedia)

47 Raphaël Troncy09/04/ Indexation automatique Segmentation temporelle : plans, scènes ; Segmentation spatiale: détection de visage, reconnaissance de visage ; Transcription automatique de la parole ; Alignement AV/ transcription ; Reconnaissances dincrustation ; Etc.

48 Raphaël Troncy09/04/ Le contexte numérique à lINA Captation 24/24, 365j/an 19 chaînes de TV 17 chaînes de Radio Gravure 3 DVD/Jour/Chaîne Base de données Banque de DVD-roms Station de Lecture AudioVisuelle Traitement documentaire grilles de programmes

49 Raphaël Troncy09/04/ Documenter un flux audiovisuel Le flux capté est découpé en émission Un traitement différencié : selon le genre AV Les documents AV peuvent se regrouper en collection si chacun des numéros est diffusable isolément mais partage une thématique et une mise en forme commune Intérêt : factoriser les connaissances à inclure dans les descriptions fabriquer de véritables modèles décrivant une classe de documents

50 Raphaël Troncy09/04/ La description du contenu AV Un processus en 3 étapes : –identification ou catalogage du document : utilisation de méta-données classiques –localisation dentités spatio-temporelles pertinentes pour une application donnée : utilisation de dates ou de coordonnées cartésiennes –caractérisation sémantique et symbolique de ces entités : utilisation de listes dautorités, de thésaurus ou du texte libre

51 Raphaël Troncy09/04/ La description du contenu AV Localisation –repérer et dater des événements Caractérisation –typer ces entités selon un genre AV –donner une thématique générale –décrire la scène (qui, quand, où, quoi, …) rendre compte d une structure logique d é crire la s é mantique du contenu

52 Raphaël Troncy09/04/ Annotation manuelle : les mots pour le dire... Objectif : –déterminer ce qui fait sens dans le document (zone spatio/temporelle) et expliciter ce sens Problème : –Un contenu AV ne prescrit pas de signification : l AV est une analogie du réel –Paraphraser le contenu AV dans une langue/langage pour spécifier une signification : mais les mots spécifient un sens possible, mais jamais exactement le même Enjeu : –Développer les terminologies permettant de spécifier des significations associées au contenu AV

53 Raphaël Troncy09/04/ La description documentaire, aujourdhui à lINA Notices contenant de nombreux champs contrôlés Utilisation de listes dautorités pour typer la structure documentaire Utilisation de mots-clés issus dun thésaurus et du texte libre pour décrire le contenu Utilisation dimagettes représentatives des séquences

54 Raphaël Troncy09/04/ Typologie INA 1/3 Les 45 genres possibles dans la typologie INA (+3 qui ne sont plus utilisés) mais tous ne sont pas de même niveau !

55 Raphaël Troncy09/04/ Typologie INA 2/3 Les 43 thèmes possibles dans la typologie INA (+4 qui ne sont plus utilisés)

56 Raphaël Troncy09/04/ Typologie INA 3/3 Un système à facettes composé de genres et de thèmes Les documents sont caractérisés par des combinaisons de valeurs : –Documentaire + Théâtre émission sur le théâtre –Retransmission + Théâtre diffusion d'une pièce Combinaisons impossibles : –Documentaire et Reportage –Retransmission et Téléfilm Usages : –0 à 4 genres + 1 ou plusieurs thématiques

57 Raphaël Troncy09/04/ Dautres informations Des publics : Des rôles pour les personnes : journaliste, monteur, présentateur, interprète, chef d'orchestre Des descripteurs du signal : signal audio : ambiance, spectre auditif signal vidéo : texture, couleur Des descripteurs liés à la production : montage : vidéo (fondu, insert) et audio (parole, musique, bruit) tournage : prise de son, prise de vue (angle caméra, cadrage) post-production : incrustation, effets spéciaux

58 Raphaël Troncy09/04/ Un exemple de notice Titre propreFACTUEL ETAPE DU JOUR Titre collectionSTADE 2 Canal de diffusion 2 Date de diffusion Heure de diffusion Durée00:01:30 ThématiqueSPORTS GenreMAGAZINES AuteursJOU, FERNANDEZ MARTIAL DescripteursFRANCE; MOSELLE; METZ; CYCLISME; COURSE CYCLISTE (TOUR DE FRANCE); COUREUR CYCLISTE; ETAPE (8EME); COURSE CONTRE LA MONTRE Résumé Résumé de la 8ème étape du Tour de France, un contre la montre individuel autour de Metz (56,5 km). LANCE ARMSTRONG (US Postal) l'a remporté et a ainsi revêtu le maillot jaune. 2ème : ALEX ZULLE (Banesto) ; 3ème : CHRISTOPHE MOREAU (Festina). Séquences Départ de LAURENT DUFAUX (Saeco). Sur la route, JAAN KIRSIPUU (Casino) avec le maillot jaune. LANCE ARMSTRONG en course + RAL. Il rejoint ABRAHAM OLANO (Once) parti 2 minutes avant lui et le dépasse. L'Espagnol est de plus en plus distancé par l'Américain. RAL visage ARMSTRONG en plein effort. ALEX ZULLE (Banesto) en route. Arrivée de CHRISTOPHE MOREAU. RAL RICHARD VIRENQUE qui essaie d'écarter les voitures qui le gêne. Il tape sur le côté d'une voiture qui s'arrête mais une autre voiture accélère au lieu de s'arrêter. BOBBY JULICH (Cofidis) à terre après une chute / personnes autour de lui. Il abandonne le Tour. Sur le podium, LANCE ARMSTRONG revêt le maillot jaune. Société de programmesA2 Nature de productionPRODUCTION PROPRE ProducteursPRD, PARIS: FRANCE 2 (F2) (1999) Type de dateD Type notice (code)23 ThèqueCA

59 Raphaël Troncy09/04/ Indexation automatique et manuelle Développer une coopération : –Conjuguer les différentes extractions automatiques –Paramétrer les algorithmes dextraction par les connaissances contextuelles et lobjectif visé –Préparer lannotation manuelle par lindexation automatique « fournir des fonctionnalités de navigation et de parcours du document pour aller plus vite à linterprétation utile »

60 Raphaël Troncy09/04/ Les apports mutuels Problème audiovisuel : –Pas dappréhension globale : pas de possibilité de « feuilleter » le document Apport de lindexation automatique : –Des outils pour feuilleter le document AV Apport de lannotation manuelle : –Une signification associée au contenu

61 Raphaël Troncy09/04/ Plan de lexposé De lanalogique au numérique : de nouvelles possibilités La création de descriptions de documents audiovisuels La représentation et la manipulation de ces descriptions : lapport XML ! Et demain … ?

62 Raphaël Troncy09/04/ Génie documentaire Enjeux : –Décrire la structure des documents et les informations quils contiennent –Manipuler le contenu des documents à partir des descriptions

63 Raphaël Troncy09/04/ Génie documentaire Documents textuels –Enrichir le document déléments documentaires ajoutés au sein même du document –Manipuler le document décrit à travers sa description Documents audiovisuels –Constituer une description, séparée techniquement du document décrit –Manipuler la description et le document décrit séparément SGML : la genèse XML : un standard largement adopté

64 Raphaël Troncy09/04/ XML : langage extensible de marquage Un ensemble de balises nommées Chaque balise ouvrante a sa correspondante fermante Un ensemble dattributs / valeurs pour chaque balise Des règles prescrivent lordre et lemboîtement des balises Les documents deviennent structurés

65 Raphaël Troncy09/04/ Structure des balises du texte encore du texte encore et toujours du texte La structure prescrit comment organiser les balises entre elles : celles-ci forment un arbre La structure est une grammaire du document Le contrôle de cette structure seffectue avec les DTDs (et maintenant avec les schémas XML !)

66 Raphaël Troncy09/04/ Terminologie des balises un titre un auteur du texte La grammaire du document prescrit comment ordonner les balises, mais pas ce qu elles signifient Les balises sont des entités linguistiques renvoyant à des significations prescrites par la langue : –Recourir à la terminologie pour fixer le choix et le sens des labels –Plusieurs terminologies sont simultanément possibles

67 Raphaël Troncy09/04/ Laudiovisuel le titre 14: :00 scène de la douche toto cest une scène 12: :50 un objet x+d1:y+d2 image

68 Raphaël Troncy09/04/ XML pour laudiovisuel XML : un méta langage pour produire dautres langages –Utiliser les DTD de XML pour proposer les structures de description : Profiter des outils XML documentaires –Utiliser XML pour définir un nouveau langage documentaire permettant de déclarer les structures que lon veut

69 Raphaël Troncy09/04/ La saga MPEG MPEG-1 et 2 : –Normes de codage et compression du flux MPEG-4 : –Norme permettant linteractivité et le débit variable MPEG-7 : –Norme portant sur la description du contenu audiovisuel et multimédia MPEG-21 : –Norme portant sur la description des données juridiques

70 Raphaël Troncy09/04/ MPEG-1 & 2 Normes définissant un encodage correspondant à une compression du signal Lunité de manipulation définie sur limage est le pixel : –Lunité est asémantique : la nature physique du pixel est arbitraire par rapport à une signification associée à limage et au flux –Le codage fait appel à des vecteurs « mouvements » qui ne correspondent pas à un mouvement « sémantique » sur limage

71 Raphaël Troncy09/04/ MPEG-4 Norme finalisée récemment : –Mobilisation du monde industriel Concept de base: objet audiovisuel –Le flux est composé dobjets audiovisuels dont on spécifie les relations spatio-temporelles –On peut mélanger des objets de codage et dorigine différente : Images naturelles et images de synthèse Associer des actions possibles à un objet Associer des descriptions à un objet –Lobjet possède un sens correspondant aux relations quil entretient avec les autres objets et aux actions et descriptions qui lui sont associées Lobjet peut avoir un sens ou un contenu sémantique : il ne la pas forcément, mais ce nest pas exclu comme pour le pixel

72 Raphaël Troncy09/04/ Contenu audiovisuel : photos, vidéos, paroles, audio, graphiques, modèles 3D, audio synthétique. MPEG-7 est destiné à lidentification des contenus, plutôt quà la reproduction (MPEG-1,2,4) : –Une description MPEG-7 peut vivre indépendamment du contenu décrit –La description MPEG-7 est indépendante du codage/format du contenu MPEG-7 veut enrichir la description textuelle des contenus par: –Des approches permettant lindexation automatique –Des approches permettant denrichir une description textuelle déléments perceptifs liés au « contenu » MPEG-7: Multimedia Content Description Interface

73 Raphaël Troncy09/04/ MPEG-7, le nouveau langage de description multimédia ? Standard ISO depuis décembre 2001 Éléments principaux : –Descripteurs (Ds) et Schémas de Description (DSs) –DDL (XML Schema + extensions) Concerne tous types de média Part 5 - MDS

74 Raphaël Troncy09/04/ Structure et sémantique (1/2) Structure Unité de base : le segment - bornes temporelles ou masque Décomposition possible

75 Raphaël Troncy09/04/ Structure et sémantique (2/2) Sémantique –entités –attributs –relations Classification Schemes (CS) –relations thésauriques

76 Raphaël Troncy09/04/ « indien dans la ville » Exemple (1/3) Contraste Bleu Tour Eiffel Mouvement T. Lhermitte Cut

77 Raphaël Troncy09/04/ T. Lhermitte Thierry Lhermitte Independent cinema company Exemple (2/3)

78 Raphaël Troncy09/04/ Motion Person 00:00:15 00:00:30 … Exemple (3/3)

79 Raphaël Troncy09/04/ Description sémantique

80 Raphaël Troncy09/04/ Découpage dun JT

81 Raphaël Troncy09/04/ Plan de lexposé De lanalogique au numérique : de nouvelles possibilités La création de descriptions de documents audiovisuels La représentation et la manipulation de ces descriptions Et demain … ?

82 Raphaël Troncy09/04/ Enjeux technologiques Possibilité danalyse automatique, ou semi- automatique Outil de maintien de la cohérence sémantique, la machine a accès au sens des descriptions Possibilité de raisonnement « intelligent » sur les descriptions Mise au point dune chaîne dindexation et de manipulation des contenus prenant en compte tous ces éléments !

83 Raphaël Troncy09/04/ Enjeux professionnels La chaîne dindexation et dexploitation des contenus AV change Renforcement du rôle des documentalistes : –Moins dindexation automatique –Plus de travail documentaire relié à une exploitation –Exemple : offrir des corpus thématiques Rôle des documentalistes vis-à-vis des autres métiers impliqués …


Télécharger ppt "La documentation audiovisuelle à lheure du numérique 27 juin 2003 Raphaël Troncy Institut National de lAudiovisuel Direction Recherche et Expérimentation."

Présentations similaires


Annonces Google