Intégration fine de médias dans les présentations multimédias Cécile Roisin Inria Rhône-Alpes et Université Pierre Mendès-France Cette présentation est issue de travaux réalisés dans l'équipe Inria WAM (Web Adaptation Multimédia) et En particulier du travail d un doctorant Tien Tran Thuong qui a soutenu sa thèse en février dernier. Enfin une des démonstrations a été réalisée dans le cadre d une collaboration entre notre équipe Inria et une historienne de l UPMF Dominique Rigaux.

Modèle de composition (SMIL, MHEG, MPEG4…) Documents multimédias Composition de documents multimédias Modèle de composition (SMIL, MHEG, MPEG4…) Médias Documents multimédias Précisons tout d'abord ce qu on entend par document multimédia: il s'agit d assembler des médias comme du texte, des images, des extraits sonores, des vidéos… Cet assemblage produit un objet de communication humaine dont le sens résulte des médias eux-memes ainsi que de leur synchronisation. Cette synchronisation peut être spatiale et temporelle et est définie selon un modèle de composition. Texte Les médias utilisés sont des boîtes noires avec lesquelles l’auteur réalise la composition

Exemples d'applications Documentation technique multimédia Accès aux dossiers médicaux multimédias Enseignement en ligne Sites web multimédias … applications dans lesquelles la synchronisation des médias est nécessaire Pour illustrer cette notion de documents multimédias, voici quelques domaines pour lesquels nous avons été effectué des études.

Outils actuels pour les documents multimédias Langages de description Impératifs déclaratifs Environnements d'exécution Local Accès à distance Outils d'édition Programmation wysiwyg Parmi les solutions actuelles pour réaliser des présentations multimédias, il est fréquent d'utiliser des langages de programmation intégrés ou non à un environnement spécialisé (Director). Une autre approche consiste à utiliser un langage déclaratif avec lequel l'auteur décrit la composition souhaitée. Cette approche rend plus facile l'échange, la réutilisation, l'adaptation des présentations et leur évolutivité. Démonstration: présentation de documents dune équipe de chercheurs en histoire: présentation et navigation dans un ensemble de photos de peintures murales de chapelles de l‘Arc Alpin avec leurs commentaires. Outils utilisés : langage SMIL + exécution avec RealOne

Besoins de composition fine Les médias ne sont pas des boites noires: Médias structurés Médias enrichis par des annotations un média = {ensemble de fragments typés et structurés} Les fragments de médias peuvent être utilisés dans : Les relations temporelles Les relations spatio-temporelles Les actions : hyperlien, suivi, masquage Les animations La notion de fragment de média permet d'identifier des composants qui conservent leur appartenance à un média. Il ne s'agit pas d'extraire des nouveaux médias à partir de médias, mais de maintenir la cohérence globale du média d'origine, en particulier des relations entre fragments d un média. Par exemple, l'ordre des plans d une vidéo, les positions relatives des portions d'image. La composition fine est la composition qui permet d’accéder aux fragments de média pour spécifier les synchronisations de ces fragments avec d'autres fragments ou d'autres médias. Les besoins de composition fine dans documents multimédias couvrent tous les aspects de la composition multimédia: les relations temporelles ou spatio-temporelles, la navigation, les animations.

Exemples d'application Synchronisation des plans d'un film avec son script Synchronisation de fragments textuels avec des fragments sonores (karaoke) Synchronisation d'images avec des séquences vidéo « Collage » de fragments de médias

Structure des applications de traitement multimédia Médias APPLICATION & TRAITEMENT ANALYSE DESCRIPTION Texte Les applications de traitement de médias sont caractérisées par trois fonctions: l'analyse des média, leur représentation par des descripteurs et l'utilisation des descripteurs et des contenus dans l'application proprement dite. Les principales applications qui exploitent actuellement les descripteurs de média sont les applications d'indexation. La démonstration ci-après montre l'utilisation de descripteurs dans des documents multimédias. Analyse région, plan objet, scène Description MPEG-7 QBIC, AEDI Applications Indexation : DiVAN Composition/exécution : RealOne, IE6, GRiNS, Madeus

Description du contenu de média <videoDescription id="MariageTien" src="/TienWedding.mpg"> … <Shot> <MovingRegion ID="Mariée"> <SpatioTemporalLocator … /> </MovingRegion> </Shot> … </videoDescription> On peut décrire le contenu de média selon différentes syntaxes. Ici, on a utilisé une syntaxe XML qui permet de décrire la structure logique et hiérarchique du média (décomposition en plans, décomposition en sous-régions spatiales). Les fragments peuvent être identifiés selon le degré de granularité souhaité par l'application. Ensuite, ces identifiants sont utilisés pour spécifier la composition voulue au sein du document (ici un hyperlien sur la sous-région « Mariée » de la vidéo) Composition d’un hyperlien sur un objet de la vidéo <video content="MariageTien"> <area id="Objet" fragment="MariageTien#Mariée" href="/MaFamille.html" /> </video>

Composition fine de documents multimédias Modèle de composition Modèle de média Médias COMPOSITION ANALYSE DESCRIPTION Pour permettre d'utiliser les descriptions dans les compositions multimédias, il faut que les modèles soient compatibles. Texte

Modèle de contenu pour la vidéo Temporal Content Actor intervalle StructuredVideo sous-intervalle … … VideoSegment Spatial … … VideoSegment Sous-Actor … Les descriptions sont intégrées dans le modèle de document qui comprend: La définition du contenu hiérarchque : partie Content. l'association de comportements aux fragments de description (actions ou propriétés d'affichage): partie acteur. l'identification de sous-intervalles temporels correspondants aux fragments : partie Temporal. Et l'identification des propriété spatiales au fragment : partie Spatial. Par exemple ici on veut définir une action de suivi sur un objet, le sous-intervalle va décider de l'intervalle temporel pendant lequel un contour rouge va être affiché et la sous-région va décider les coordonnées spatiales du contour. VideoSegment … segment segment MovingRegion [tracking; hyperlink] Sous-region

Bilan Modèle de description du contenu des médias accès aisé aux fragments de média édition de la description du contenu de média Support de la description MPEG-7 Permettre d’exporter et réutiliser facilement les descriptions Modèle de composition de documents multimédias synchronisations fines avec des fragments de média actions (hyperlien) sur des objets de média animations abstraites

Conclusion De nouvelles perspectives: Des compromis à trouver: Automatisation de la génération des présentations multimédia Support pour l'adaptation des présentations à différents contextes (terminaux, débits, …) Des compromis à trouver: Solutions ouvertes / disponibilité des outils Simplicité / créativité