Jenny Benois-Pineau Philippe Joly

Présentation au sujet: "Jenny Benois-Pineau Philippe Joly"— Transcription de la présentation:

1 Jenny Benois-Pineau Philippe Joly http://www.irit.fr/ASSTICIM/
+ SAMoVA

2 Introduction Indexation basée contenu Contexte international
XML, MPEG-7 ESPRIT (PRC 4), IST (PRC 5) IST (PRC 6) : "Technologies de la connaissance appliquées en particulier au traitement des contenus" Initiée aux Etats–Unis par des personnes comme Ramesh Jain à l’Université de Floride, de Dragutin Petkovic ou encore Minerva Yeung à IBM Research, la recherche appliquée dans ce domaine s’est développée en Europe fortement soutenue par la Commission Européenne dans le cadre des programmes ESPRIT (PRC4), et IST (PRC5). Aujourd’hui, l’activité scientifique et industrielle ainsi que les volumes de soutien financier des projets R&D de l’Action-clé KA III “Multimédia Content and Tools” du Directorat General Information Society montrent l’importance de ce thème au niveau européen. Dans le 6ème programme–cadre, un des thèmes prioritaires est désigné par la “Représentation et gestion des connaissances basées sur le contexte et la sémantique y compris les systèmes cognitifs, ainsi que les outils pour la création, l'organisation, le partage et la distribution des contenus numériques”. Dans ce contexte, une importance particulière sera accordée aux “Technologies de la connaissance appliquées en particulier au traitement des contenus (ex. indexation multimédia basée contenu).” Les efforts de chercheurs européens dans le domaine de l’indexation multimédia basée sur le contenu se structurent aujourd’hui sous forme de « Réseaux d’Excellence » soutenus financièrement par la Commission Européenne. Ces réseaux permettent des échanges effectifs des étudiants en thèse, de chercheurs invités entre les laboratoires participants, et l'organisation des journées de travail au niveau européen. Journée Scientifique - 7 juillet Lyon

3 Présentation Contexte National GT10 (ISIS) CBMI
AGIR, Domus Videum, ... A l'échelle nationale, une forte activité fédératrice dans le domaine de l’indexation multimédia basée contenu est menée au sein du GT10 du GDR PRC CNRS ISIS. La participation d’une large communauté scientifique constituée essentiellement des équipes traditionnellement impliquées dans l’analyse des média (IRIT, IRISA, EURECOM, INRIA Rhône-Alpes, France Télécom R&D (Rennes), INA, IRCCyN/IVC, etc…) a permis des échanges fructueux qui ont amenés aux montages de projets tels que AGIR (RNRT) ou Domus Videum (RNTL). Plusieurs opérations thématiques ont été menées au sein du GT10 : étude des standards multimédia pour la constitution du corpus, développement de protocoles de test d'algorithmes d'indexation en relation avec le nouveau standard MPEG7… Deux sessions d'un colloque européen CBMI « Content Based Multimedia Indexing » ont été organisées (l'une à Toulouse, France 1999, l'autre à Brescia , Italie 2001). Grâce à ses expériences à l'échelle nationale ainsi qu’à l’interaction et aux échanges à l'échelle internationale (y compris dans le cadre des projets Européens), la communauté impliquée dans le GT10 peut identifier clairement les verrous technologiques et les perspectives du développement de cet axe de recherche. Journée Scientifique - 7 juillet Lyon

4 Présentation Indexation domaine transdisciplinaire en informatique
traitement du signal technologies du langage gestion des connaissances regroupement des traitements texte, image, vidéo et audio L’indexation multimédia basée contenu fait appel aux méthodes issues du domaine du traitement du signal en ce qui concerne les composantes image et son, aux «technologies du langage» pour le texte et la parole, et à la gestion des connaissances pour l’adaptation aux besoins des utilisateurs. La conclusion que la communauté scientifique internationale tire aujourd’hui de la période de recherche couvrant ces huit dernières années, consiste à admettre qu’un des principaux verrous technologiques dans ce domaine reste la regroupement des traitements appliqués aux médias. Si les méthodes d’analyse des médias séparés (la reconnaissance de la parole, l'analyse de l’image et de la vidéo, l'analyse et la recherche textuelle) présentent des performances accrues sur cette même période, la collaboration effective de ces méthodes dans l’objectif de la création de chaînes technologiques de structuration et d'indexation automatique des données multimédia est à l’état initial de la recherche. Par ailleurs, il est évident que seule la collaboration et des stratégies intelligentes d’interaction des méthodes d’analyse des médias peuvent apporter la solution à ce problème. Sur le plan méthodologique, le problème de l’indexation automatique des documents multimédia demande non seulement la mise en commun des outils d’analyse de l’image fixe, du mouvement dans les images vidéo, de la reconnaissance de la parole, mais aussi l’élaboration des méthodologies d’interprétation de ces résultats et des schémas efficaces d’interaction des outils. Ainsi, la reconnaissance d’un mot-clé dans le flux sonore pourrait déclencher la recherche et le suivi d’un élément visuel spécifique dans l’image courante du flux vidéo et permettrait d’offrir un nouveau type d'index. Le changement du caractère du flux sonore (musique – parole) associé à la détection des frontières spatio-temporelles des plans issus du montage vidéo, et à la modification du mouvement global observé permettraient d’indexer des scènes particulières dans un document audiovisuel numérique. En utilisant le contexte et les résultats d’indexation produits par les outils propres aux flux des médias, des ontologies floues pourrait être construites établissant les correspondances entre les termes de chaque élément d'indexation susceptibles d'être produit par les techniques monomédias. Journée Scientifique - 7 juillet Lyon

5 Présentation Objectifs sur le plan méthodologique
Outils intelligents d'analyse et d'interprétation sur le plan organisationnel (Re-)Construire un communauté du point de vue pratique Intégration, interaction des outils Tests et valorisation Les objectifs de l'Action Spécifique sont triples : * sur le plan méthodologique, il s’agit de développer un ensemble d'outils et de stratégies intelligents d’analyse et d'interprétation des informations multimédia pour l’indexation automatique des contenus numériques ; * sur le plan organisationnel, le but est de construire un groupe solide autour de l’indexation multimédia, clairement identifié par la communauté scientifique internationale en facilitant les échanges scientifiques entre les membres du consortium ; * enfin, du point de vue pratique, il s'agit de mettre en place un ensemble d'activités permettant d’une part l'intégration, l'interaction et le tests des outils d’indexation transmodale entre les membres du consortium, et d'autre part l’interaction avec l’industrie pour la valorisation et le transfert des résultats. Journée Scientifique - 7 juillet Lyon

6 Présentation Objectifs Développement d'outils
Méthodologie pour la mise à disposition d'un corpus étiqueté Architectures logicielles Démonstrateurs … très (trop ?) ambitieux Pour répondre à ces objectifs, le groupe se propose d'explorer et de mener des actions sur les axes suivants : * le développement d'outils d’indexation des médias * l’élaboration d'une méthodologie et une proposition pour la réalisation de corpus étiquetés pour la validation des outils d'indexation automatiques. De telles ressources n'existent que pour certaines thématiques (comme la parole par exemple), mais elles sont dans ces cas là souvent difficiles à obtenir et d'un coût élevé. Par ailleurs, les formats de données utilisés sont souvent spécialisés et rarement en accord avec les normes internationales * le développement d'une proposition d'architecture logicielle centralisant des fonctionnalités : * d'acquisition de données multimédia * d'indexation * de validation * d'accès aux index * le développement de la proposition d'un démonstrateur organisant et gérant les connaissances extraites pour : * la production d'informations complémentaires (potentiellement plus riches sémantiquement, ce qui fait partie d’annotation automatique des contenus numériques. * le développement d'un moteur de recherche ou d'une interface utilisateur pour la navigation et la recherche d'information Journée Scientifique - 7 juillet Lyon

7 Présentation Participants IRIT : UMR CNRS 5505
Equipe ART.PS - Philippe Joly LABRI : UMR CNRS 5800 Equipe Image et Son - Jenny Benois-Pineau IRISA : UMR CNRS 6074 Equipe Texmex - Patrick Gros INRIA : Projet Imedia - Nozha Boujemaa IRCCyN : UMR CNRS 6597 Equipe IVC - Dominique Barba LIP6 : UMR CNRS7606 Equipe APA -Marcin Detyniecki Journée Scientifique - 7 juillet Lyon

8 Présentation Participants
Segmentation et identification Parole, musique, bruits Description analytique des contenus Règles et contraintes liées au mécanismes de production ... IRIT : UMR CNRS 5505 Equipe ART.PS - Philippe Joly L'équipe ART.PS de l'IRIT travaille à l'indexation automatique des documents audio et vidéo. Concernant l'audio, les activités de recherche les plus récentes de l'équipe ont porté sur la segmentation de la bande sonore à travers la définition des composantes Parole, Musique et Bruit (PMB), leur segmentation statistique et leur identification. Par ailleurs, d'autres travaux sont actuellement en cours sur le développement de systèmes de recherche de locuteurs, ou encore la détection de sons clés (de type jingles). Ces éléments sont tous porteurs d'une information potentiellement pertinente pour indexer les documents non-seulement purement sonores, mais également audiovisuels. A ce titre, l'équipe étend à l'heure actuelle son domaine de recherche tout particulièrement à l'indexation de ce dernier type de document par l'intégration de composantes spécialisées dans l'analyse des contenus vidéo. Dans ce cadre, les travaux envisagés concernent la définition de structures de données pour l'interopérabilité entre les outils spécialisés audio et vidéo, la description homogène d'un point de vue analytique et synthétique des contenus selon les deux canaux, et la spécification de règles et de contraintes identifiant des mécanismes de production influant fortement la structuration des documents. Les membres de cette équipe sont fortement impliqués dans des projets de recherche et des actions menés à l'échelle nationale et internationale sur le sujet de l'indexation audio et vidéo. Ils assurent la promotion des travaux menés à travers une contribution active à différentes actions (animation du GT10 Indexation Multimédia du GDR ISIS et du GT5.1 Parole du GDR I3), différents projets (RNRT, ESPRIT), et participent à un consortium de normalisation (MPEG). Journée Scientifique - 7 juillet Lyon

9 Présentation Participants
Analyse et interprétation des images 2D et 3D Structures musicales dans les documents sonores Indexation vidéo basée objets ... LABRI : UMR CNRS 5800 Equipe Image et Son - Jenny Benois-Pineau L’équipe « Image et Son » a été créée au sein du LABRI pour structurer cette activité de recherche en pleine expansion au sein de laboratoire : notamment à travers l’analyse et l’interprétation des informations multimédia telles que les images numériques 2D et 3D et le son, en particulier dans sa forme naturelle la plus complexe – la musique. En ce qui concerne l’analyse d’image, la particularité des travaux du LABRI réside dans l’utilisation des modèles dans les espaces discrets et continus. Les résultats les plus récents de la recherche portent sur un nouveau modèle de représentation du contour des régions dans le plan-image « chemins euclidiens » permettant de résoudre divers problèmes de géométrie discrète (lissage, antialiasing, grossissements, extraction de normales, calculs de périmètres), ainsi que sur l’élaboration de nouveaux modèles discrets déformables avec une application à l’analyse des images médicales. Les méthodes de segmentation des images couleurs qui s’appuient sur ces modèles présentent des performances intéressantes et offrent des fonctionnalités relatives à des modèles hiérarchiques du contenu des documents visuels. Le deuxième aspect du traitement et de l'analyse des flux visuels se décline en termes de réalité virtuelle et d'intégration des informations dans des systèmes d’interaction Homme-Machine. En ce qui concerne l’analyse du son, les travaux de recherche se focalisent sur la modélisation du son, la recherche des pratiques et des structures musicales dans des documents sonores. L’équipe établit des relations industrielles prometteuses (Sun, TGS, ID3, SONY Research ). La participation du groupe au réseau d’excellence au niveau européen en théorie des graphes appliquée à la représentation des images permet une ouverture de cette thématique à l'échelle internationale. Un nouveau thème de recherche sur l’Analyse et l'Indexation vidéo s’est ouvert au sein de l’équipe depuis Cet axe s’appuie sur l’expérience en analyse des images animées confirmée par la participation de son animateur à des projets de recherche en amont avec des organismes tels que France Télécom R&D (contrat RNRT OSIAM),et à des programmes de recherche bi-latéraux Franco-Helléniques (PLATON) et Franco-Hongrois (BALATON). Par ailleurs une expertise au niveau européen dans le cadre des axes thématiques « Multimédia » des programmes ESPRIT, IST, Media Plus permet de définir les perspectives de recherche et de sa valorisation industrielle dans le domaine de l’analyse et de l'indexation des documents vidéo. Les résultats de recherche récents portent sur le développement de la méthodologie d’analyse vidéo en se basant sur la représentation du signal vidéo 1D par des transformée projectives (Radon discret) et sur l’indexation des contenus spécifiques par caractérisation du mouvement global dans le domaine compressé (MPEG2). Les membres de l’équipe Image et Son associés à ce nouveau thème s’appliquent activement aux projets de recherche et de développement au niveau national (projet labelisé RNTL Domus Videum) ainsi qu’aux actions telles que le GT10 Indexation Multimédia au sein du GDR PRC ISIS . Le rayonnement scientifique de ce thème au LABRI s’exprime aussi par la participation aux comités de programme des congrès internationaux CBMI’2001( Italie), IKNOW02 (Autriche), organisation d’une session spéciale sur des « Intelligent Systems for Video Processing » au congrès IPMU’2002. Dans le cadre de l’action spécifique, l’équipe Image et Son souhaite surtout développer le thème d’indexation vidéo basée objet. Il s’agit ici de traiter le problème complexe du suivi et de l’indexation des comportements des objets dans des scènes vidéo à mouvement fort (ou dans le cas d'une cadence temporelle faible). De tels documents sont typiques aujourd’hui des applications basées Internet où la bande passante variable ne permet pas d’enregistrer des documents vidéo avec la cadence temporelle usuelle du PAL/SECAM ou du NTSC. Une autre situation concerne l’exploitation des informations directement extraites des flux compressés sans le décodage complet. Ici le train binaire des standards tels que MPEG2 largement répandu pour l’archivage des documents de télédiffusion peut être exploité partiellement (ce qui correspond à une cadence temporelle réduite) pour extraire, suivre et indexer des objets. De telles contraintes imposent le développement de stratégies efficaces du suivi des objets avec les approches géométriques et multi-résolution. L’indexation du contenu des documents basée objet implique la coopération entre l’analyse du flux sonore et du flux vidéo, spécifiquement pour les objets de type personnages humains (caractérisation du locuteur). C’est pour cela que la participation à l’action spécifique avec les partenaires de compétences complémentaires serait très profitable pour l’équipe. Journée Scientifique - 7 juillet Lyon

10 Présentation Participants
Indexation, recherche de données d'image et de texte, Exploitation (BD, statistiques), ... IRISA : UMR CNRS 6074 Equipe Texmex - Patrick Gros L'originalité de l'équipe vient du choix d'examiner plus particulièrement les problèmes posés par la gestion de grands volumes de données. Les premiers travaux ont porté sur les algorithmes d'indexation et de recherche en mémoire secondaire et sur la validation de descripteurs d'images sur de grands corpus (plus de images au lieu de à habituellement). Ces recherches démarrent dans un contexte régional tout à fait porteur. L'IRISA regroupe des spécialistes des divers médias (texte, image, son, parole, vidéo) qui se retrouvent dans un groupe de travail que nous animons. Dans le cadre de cette action spécifique, nous comptons étudier l'extension de nos techniques de recherche à d'autres descripteurs et d'autres médias que ceux que nous utilisons pour le moment. Tout développement d'une application réaliste industriellement nécessite de gérer des quantités de données qui dépassent vite la capacité des mémoires actuelles. Même en dehors de cela, il n'est souvent pas possible de garder toutes ces données et leurs méta-données en mémoire principale. Il est donc nécessaire de disposer d'algorithmes permettant un accès rapide aux données pertinentes, problème pour lequel il n'existe pas encore de solution satisfaisante. Cela peut se faire, tout d'abord, en restreignant au maximum l'ensemble des données à considérer, d'autre part en filtrant ces données au plus près de leur lieu de stockage. Journée Scientifique - 7 juillet Lyon

11 Présentation Participants Indexation d'images par le contenu,
Recherche interactive dans de grandes bases d'images Navigation Indexation multimédia (Texte/image) INRIA : Projet Imedia - Nozha Boujemaa L'équipe IMEDIA déploie ses efforts de recherche, de collaboration et de transfert pour répondre au problème complexe de l'accès intelligent aux données multimédias dans sa globalité. Les axes de recherche de l'équipe sont : * l'indexation d'images par le contenu. * Un des principaux problèmes à résoudre repose dans le choix d'un espace de représentation et calcul des attributs significatifs des images, construction d'index (compromis coût du stockage/coût de la requête). la recherche interactive dans des grandes bases d'images. * Il convient ici de définir la notion de similarité perceptuelle et les mécanismes de mise en correspondance, de modéliser l'incertitude, de gérer les profils utilisateur, d'établir un contrôle de la pertinence, et d'autoriser les requêtes partielles (sur des zones d'intérêt). la navigation. * Les travaux intègrent la théorie de l'information, le clustering, la modélisation probabiliste, la notion d'échantillon représentatif, et le développement d'interfaces. l'indexation multimédia. Nous travaillons ici à la généralisation de nos méthodes aux données hétérogènes, à l'hybridation texte-image, et à l'application aux documents multimédias. Journée Scientifique - 7 juillet Lyon

12 Présentation Participants
Analyse et indexation par traitements spatio-temporels de la vidéo MPEG-2 ou 4 Propriétés de perception de scènes du Système Visuel Humain ... IRCCyN : UMR CNRS 6597 Equipe IVC - Dominique Barba L’équipe IVC focalise son action sur le développement de recherches liées au thème générique de systèmes multimédia communicants. Ce thème s’inscrit parfaitement dans les priorités affichées par le CNRS à travers la création du département STIC. Plusieurs axes de recherche complémentaires contribuent à alimenter ce thème et mobilisent différents sous-ensembles de l’équipe. Par ailleurs, chacun d’eux est lié soit à des collaborations contractuelles avec des industriels ou des centres de recherche, soit à des grands programmes nationaux. L’un des axes couvre la communication Homme-Système à travers nos travaux de recherche sur la reconnaissance de l’écriture manuscrite. Dans ce domaine, un immense potentiel d’applications s’ouvre avec les nouveaux services nomades de la société de l’information et de la communication («continuum homme - système d’information»). Pour faire communiquer ces données, il faut disposer d’infrastructures tels que les réseaux et de méthodes efficaces de représentation et de codage de l’information permettant de garantir une qualité de services, aussi bien pour des données image ou vidéo que son, graphiques ou autres. C’est un autre objectif de l’un de nos axes de recherche (« continuum de communication »). L’un des enjeux importants des nouvelles technologies de l’information est de permettre l’accès intelligent au contenu des images et vidéos, c’est ce qui justifie nos recherches sur le développement de techniques permettant de structurer les images et la vidéo pour en maîtriser le contenu. Parallèlement, les technologies de l’information étant centrées l’Homme, celui-ci étant, pas seulement d’ailleurs, l’un des acteurs du triplet Information – Communication – Utilisation, l’un de nos axes porte sur la modélisation du système visuel humain et son rôle (majeur) dans la communication et le traitement de l’information visuelle (« continuum informationnel »). Notre contribution dans ce projet portera sur deux axes : - l’analyse et l’indexation par traitement spatio-temporels de la vidéo à partir de représentations normalisées comprimées ( MPEG2 ou MPEG4) ou non ; - la prise en compte de propriétés de perception de scènes du Système Visuel Humain (SVH) dans la caractérisation et la description des documents vidéo. Journée Scientifique - 7 juillet Lyon

13 Présentation Participants
Apprentissage, représentation des connaissances, … Exploitation des connaissances imparfaites Méthodes floues possibilistes, Aggrégation Fouille de données, extraction de connaissances, ... LIP6 : UMR CNRS7606 Equipe APA -Marcin Detyniecki Les travaux de l'équipe LOFTI portent sur l'apprentissage, la représentation et l'exploitation de connaissances imparfaites, c'est-à-dire imprécises et/ou incertaines. Les points forts en sont : * Des méthodes d'apprentissage à partir d'exemples, dans les cas où les descriptions des exemples sont numériques et imprécises ou encore tantôt numériques tantôt symboliques (c'est-à-dire exprimées en langue naturelle), ont été mises au point en utilisant la logique floue. Le système Salammbô a été développé, permettant de gérer des valeurs imprécises d'attributs et des classes mal délimitées. Des méthodes utilisant des réseaux de neurones, ainsi que des algorithmes génétiques, pour l'apprentissage des paramètres et des règles de systèmes flous, sont également proposées par l'équipe. * En ce qui concerne la représentation des connaissances, un formalisme général pour les relations de ressemblance ou de dissemblance, a été exhibé à l'aide d'une approche floue, en vue de multiples utilisations telles que le raisonnement prototypique ou par analogie, l'apprentissage inductif ou le traitement d'images par exemple, permettant le choix de l'outil approprié au problème posé. Les relations de ressemblance satisfaisantes pour un raisonnement analogique ont aussi été étudiées. Des réseaux sémantiques possibilistes ont été mis au point afin d'être utilisés dans un système d'interface entre l'homme et la machine. La modélisation de systèmes flous est également étudiée par l'équipe et utilisée pour approcher des systèmes complexes, tels que des réseaux de transport par exemple. Une gestion d'incertitudes symboliques a été envisagée à l'aide d'une approche de logique non classique. * L'exploitation de connaissances imparfaites passe par le développement de diverses méthodes floues ou possibilistes d'optimisation, de commande, de traitement d'images, d'agrégation d'informations, de comparaison d'objets, de déduction. Plusieurs problèmes d'aide à la décision, tels que l'exploitation d'informations imprécises et incertaines pour le contrôle du trafic d'un métro automatique, l'aide à la préparation de mission aérienne, l'analyse d'images mammographiques en vue d'une aide au diagnostic du cancer du sein, le contrôle de qualité de pièces de fonderie à partir de l'identification de la gravité de leurs déformations éventuelles, la supervision du trafic aérien et celle de réseaux d'assainissement, l'aide à la décision dans un contexte militaire. Des méthodes de fouille de données et d'extraction de connaissances à partir de bases de données sont également mise au point au sein de l'équipe. Journée Scientifique - 7 juillet Lyon

14 Actions Corpus Outils SFRS 7 documents (2h30) audio + vidéo
images fixes Outils 1 outils d'extraction d'image des fichiers MPEG-2 (Labri) Journée Scientifique - 7 juillet Lyon

15 Actions EOI : Réseau d'Excellence Européen Knowledge-Based Multimedia
23 partenaires publics et privés DK, DE, F, G, I, NL, SP, UK Extraction d'informations de contenu, gestion des connaissances et de données multimédia, encodage, édition multimédia, recherche d'information, présentation de données, évaluation des impacts sociétaux Journée Scientifique - 7 juillet Lyon

16 Actions Rencontres Analyse et Indexation Multimédia
Le 20 juin à Bordeaux (Labri) Analyse et caractérisation de la vidéo Indexation automatique de la musique Reconnaissance et indexation de la parole Fusion des informations pour l'interprétation des flux multimédia Perspectives et projets de l’indexation multimédia Journée Scientifique - 7 juillet Lyon

17 Actions Publications J. Benois-Pineau, M. De Sainte Catherine, N. Louis “A methode for extraction of audio-visual leitmotif in movies by cross media analysis”, Session spéciale “Content Based Audio and Video Indexing” EUSIPCO’2002, Toulouse, France, September’2002 S.A. Berrani, L. Amsaleg, P. Gros, "Controlling the Precision of Approximate Fast Nearest-Neighbor Searches", Rapport technique N°1450, Avril 2002 Mathieu CARNEC, Dominique BARBA. Faces recognition based on both perception and behaviour of the Human Visual System. In Proc. of DSP’2002. Santorin. Grèce. July 2002. R. Ruiloba, Ph. Joly “Adding the concept of video editing levels in shot segmentation”, Session spéciale “Intelligent Systems for Video Processing”, IPMU’2002, Annecy, France, July’2002 Journée Scientifique - 7 juillet Lyon

18 Actions Publications Sessions spéciales IPMU 2002 Eusipco 2002
Detyniecki M. and Marsala C., Fuzzy Multimedia Mining Applied to Video News, Proceedings of the International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU'2002, Annecy, France, July 2002. J. Benois-Pineau, A. Khrennikov, “Image segmentation in compressed domain by clustering methods with euclidean and p-adic metrics”, Session spéciale “Data mining and multimedia systems”, IPMU’2002, Annecy, France, July’2002 Sessions spéciales IPMU 2002 Eusipco 2002 Journée Scientifique - 7 juillet Lyon

19 Actions Eléments de résultats silence music speech French English
Speech transcription Journée Scientifique - 7 juillet Lyon

20 Perspectives Vers une "transmédialité" Chaînage mono- ou multimédia
Analyse et caractérisation de l’audiovisuel Aggrégation / fusion Evaluation des résultats Interprétation des résultats Exploitation des résultats Initiée aux Etats–Unis par des personnes comme Ramesh Jain à l’Université de Floride, de Dragutin Petkovic ou encore Minerva Yeung à IBM Research, la recherche appliquée dans ce domaine s’est développée en Europe fortement soutenue par la Commission Européenne dans le cadre des programmes ESPRIT (PRC4), et IST (PRC5). Aujourd’hui, l’activité scientifique et industrielle ainsi que les volumes de soutien financier des projets R&D de l’Action-clé KA III “Multimédia Content and Tools” du Directorat General Information Society montrent l’importance de ce thème au niveau européen. Dans le 6ème programme–cadre, un des thèmes prioritaires est désigné par la “Représentation et gestion des connaissances basées sur le contexte et la sémantique y compris les systèmes cognitifs, ainsi que les outils pour la création, l'organisation, le partage et la distribution des contenus numériques”. Dans ce contexte, une importance particulière sera accordée aux “Technologies de la connaissance appliquées en particulier au traitement des contenus (ex. indexation multimédia basée contenu).” Les efforts de chercheurs européens dans le domaine de l’indexation multimédia basée sur le contenu se structurent aujourd’hui sous forme de « Réseaux d’Excellence » soutenus financièrement par la Commission Européenne. Ces réseaux permettent des échanges effectifs des étudiants en thèse, de chercheurs invités entre les laboratoires participants, et l'organisation des journées de travail au niveau européen. Journée Scientifique - 7 juillet Lyon

21 Perspectives Vers une "transmédialité" chez SAMoVA ?
Initiée aux Etats–Unis par des personnes comme Ramesh Jain à l’Université de Floride, de Dragutin Petkovic ou encore Minerva Yeung à IBM Research, la recherche appliquée dans ce domaine s’est développée en Europe fortement soutenue par la Commission Européenne dans le cadre des programmes ESPRIT (PRC4), et IST (PRC5). Aujourd’hui, l’activité scientifique et industrielle ainsi que les volumes de soutien financier des projets R&D de l’Action-clé KA III “Multimédia Content and Tools” du Directorat General Information Society montrent l’importance de ce thème au niveau européen. Dans le 6ème programme–cadre, un des thèmes prioritaires est désigné par la “Représentation et gestion des connaissances basées sur le contexte et la sémantique y compris les systèmes cognitifs, ainsi que les outils pour la création, l'organisation, le partage et la distribution des contenus numériques”. Dans ce contexte, une importance particulière sera accordée aux “Technologies de la connaissance appliquées en particulier au traitement des contenus (ex. indexation multimédia basée contenu).” Les efforts de chercheurs européens dans le domaine de l’indexation multimédia basée sur le contenu se structurent aujourd’hui sous forme de « Réseaux d’Excellence » soutenus financièrement par la Commission Européenne. Ces réseaux permettent des échanges effectifs des étudiants en thèse, de chercheurs invités entre les laboratoires participants, et l'organisation des journées de travail au niveau européen. Journée Scientifique - 7 juillet Lyon