Michel PLU, FRANE TELECOM ORANGE LABS PHAROS Innovation Director PHAROS – Platform for search of audiovisual resources across online spaces Michel PLU, FRANE TELECOM ORANGE LABS PHAROS Innovation Director

PHAROS EN BREF 13 partenaires de 9 pays Academiques: Industries: L3S Research Centre Fraunhofer IDMT EPF Lausanne Open University, KMI University Pompeu Fabra VTT Research Centre Industries: Engineering, Spa Fast Search & Transfer ASA Sail Labs Technology AG Metaware, Spa Webmodels, Srl Fournisseurs de Contenus et de services : France Telecom Circom Regional Economie : Start January 2007 Duration 36 months 1er Démonstrateur: Juin 2008 Total budget: €14.2m EC contribution: €8.5m Efforts : 1328 h.m 13 partenaires de 9 pays

Objectifs Offrir une meilleur expérience de recherche et de découverte de contenus audio-visuels en ligne Passer du paradigme moteur de recherche à une plate forme intégrée d'accès aux contenus multimedia Cette plate-forme sera construite avec une architecture innovante, ouverte et distribuée qui permettra à chaque organisation d'exploiter la valeur de ses contenus ou de ses technologies

Une meilleure expérience utilisateur quelque soit le mode d'accès (Marcia J. Bates . "Toward an integrated model of Information seeking and searching" )

Une expérience plus simple Cacher la complexité des Formats Des DRMs ( des players ) Contrôle d'accès au services ( login/mdp ) Accès en tout lieu à tout moment sur de multiples terminaux Accès contextuel : Filtrage des réponses en fonctions des privilèges de l'utilisateur, et des capacités de ses terminaux Gestion des multiples terminaux de l'utilisateur : profils dans le réseau

Une expérience plus efficace Trouver les meilleures réponses y compris en fonction de préférences Aider à la formulation de requêtes Y compris la recherche par similarité de contenus et par valeur de propriété Aider au "tagging" utilisateur et à la recommandation Filtrer ou agréger les doublons exactes ou proches Filtrer le spam

Une plate-forme distribuée

Une Plate-forme ouverte L'utilisateur soumet une requête, s'y abonne ou navigue dans les contenus indexés Publication Souscription filtrée à des flux RSS audio-visuels Lit les contenus et les programme pour être analysés La requête est analysée et les réponses sont personnalisées Indexe les descriptions XML et les traits bas niveaux des contenus Analyse et enrichi les contenus Content anaysis Content indexation Connector Content Capture and Refinement Publish and Subscribe XML and content based Search Engines Query and Result Refinement User Interface Annotateurs déclarés comme web-services Les résultats sont adaptés et présentés au terminal Interface avec les gestionnaires de contenus Content Status Monitoring User behaviour models Offline models analysis This figure is an overview of the different service domains in the PHAROS platform. All these boxes expose Java interfaces and the idea is that it should be easy to do integration with external subsystems, and also to replace a service with another one. The architecture can therefore be adapted to different deployments, and not all Multimedia read access gives access to the data to be processed, and is adapted to the specific storage systems at a particular broadcaster. This interface could also incorporate transcoding, streaming, decoding of multiplexled streams and access to metadata in the headers. Specialized storage domain - dedicated interfaces for specifying quality, bit rates and formats - management of throughput, bandwidth, - decoding of multiplexed streams - access to metadata in the headers A Connector is the component which is responsible for pushing the content to be indexed through the system.A Connector could for example be set up to be discover whenever an entry in a database has changed, when a crawler has downloaded new content or when a program is broadcast. CCR: The content capture and refinement framework is responsible for the analysis of the incoming files. For traditional text-based documents this includes language recognition, tokenization, lemmatization as well as extraction of semantic metadata such as known entities. For multimedia documents this will include scene segmentation, audio, speech and music detection as well as image and video recognition. The framework is able to do processing in parallel, so slower processes such as speech recognition can run in the background, while the rest document is output to the search engine. This framework addresses problems such as latency and scalabily through parallel processing, scheduling and distribution of procssing across the network. When content has gone through the CCR it is pushed to the publication and subscriptio manager. The PS manager contains subscriptions from users and search services and when a subscription matches incoming content the subscriber will receive the content. Content can be delivered in different modes, e.g. as an SMS or as an RSS feed. The output from CCR will typically be a structured document (a program consists of scenes, passages, music etc). The problem with current subscription mechanisms is that they work on global metadata (such as the name of a programme, the duration of the file etc). The P/S is actually an XML router which allows subscriptions that match part of a document (e.g. programme which includes music by Katie Tunstall or a passage spoken by Tony Blair containg the word ”education”). The Search Service is one of the receivers of the published content. A search service could be a specialized search service for local news, and in that case would subscribe to local broadcasts, or any broadcast mentioning some specific search terms (such as ”Birmngham”) or a geographical location. The search service actually consists of several components. An XML search engine, a Content-Based search engine for doing similarity search, and a query broker which is responsible for federating queries to the correct engine. Agian, this is a pluggable framework, so other search engines could be used to the query broker, also external ones such as Yahoo or Google. Personalisation is a big part of the PHAROS project. Through the user interface events are generated and stored in User Behaviour service. Personalisation algorithms can make use of these events in order to infer knowledge about the user which can be used to improve the search experience. This modelling is done offline using analysis of blogs and social networks. Information about personal preferences can be folded into the query in order to rank results according to personal preference. Multimedia Read Access Metadonnées de présentations: thumbmail, preview , legal copy ... Content provider Multimedia System-generated multimedia Gestionnaire de reférences de contenus Fournisseur de méta-donnée (critiques, EPG...)

Pharos: Une plate forme ouverte et flexible Intégration à chaud de nouveaux moteurs d'annotations Intégration de nouveaux flux de méta données Gestion de schémas multiples au sein du gestionnaire de souscription et publication Architecture web-services Ouverte API publiques Format d'échanges de données standardisés ( AV-RSS , MPEG 7 , TV-Anytime , ODRL …)

La plate forme Pharos: L'excellence opérationnelle Performance pour de grands volumes de contenus

La plate forme Pharos: L'excellence opérationnelle Meilleure réactivité Sur disponibilité , disparition , modification de contenus ou de méta données Basée sur un protocole pub / sub Pas de crawling – ni de polling Crawling impossible pour des contenus audiovisuels volumineux et/ou protégés

Compétences clés Connaissances des usagers et des usages: General public (France Telecom) Professional broadcasters (Circom Regional members) Moteur de recherche multimedia XML and content based (FAST, KMI, …)

Compétences clés Speech-to-text Analyse Audio et musicale European and Arabic languages, speaker recognition (Sail Labs) Analyse Audio et musicale Music/noise/sound classification (VTT) , melody/rhythm/instrument recognition (UPF), duplicate detection (Fraunhofer) Analyse Video et image Duplicate detection ( Fraunhofer) , semantic concept recognition , search by similarity, shot segmentation, key frame extraction (KMi, EPFL…) Annotation Multimodale Metadata fusion (UPF…)

Compétences clés Social media analysis Gestion de contenus Opinion mining, community building, tags and folksonomy, spam trust and reputation management (L3S, VTT, France Telecom,UPF) Gestion de contenus Near-duplicate detection , copy and DRM management (Fraunhofer)… Ingénierie Logicielle Service Oriented Architecture (Engineering…), CASE for web services (Web models) , Software integration and delivery (Engineering)

Conclusions PHAROS : Un projet collaboratif européen pour la définition d'une plate forme innovante , ouverte et distribuée pour faciliter l'accès à des contenus audio visuels en ligne PHAROS : Un consortium composé d'industriels et d'académiques leaders dans leur technologie respective et représentatifs des besoins professionnels et grand publics Rendez vous en Juin 2008 pour le premier démonstrateur Des nouvelles sur : http://www.pharos-audiovisual-search.eu/