Dans l’axe Systèmes Sociotechniques Ambiants Equipe SAMoVA (7 permanents) Ses apports Ses liens Ses attentes Dans l’axe Systèmes Sociotechniques Ambiants Axe SSA – équipe SAMoVA Christine Sénac

SAMoVA Analyse Structuration Modélisation de la Vidéo et de l’Audio méthodes d’extraction de zones d’intérêt « bas niveau »,… Ex: détection des zones de parole, de visages * étude de l’organisation de l’information A, V ou AV Ex: association du visage et de la voix d’une personne dans un film ou découpage d’un flux de TV en programmes * pour les tâches de reconnaissance (A,V ou AV) * modèles appris a priori ou ‘on-line’ Ex: reconnaissance du locuteur, du mouvement Axe SSA – équipe SAMoVA Christine Sénac

Les apports de l’équipe EN AUDIO Décomposition Parole/Non Parole [Pinquier 02] (1er système campagne ESTER1) Segmentation/Regroupement en locuteurs [El Khoury 07] (campagne Ester2) Identification du locuteur [Louradour 06] (campagne NIST 04 et 06) Détection de sons clés [Pinquier 04] Identification des langues [Farinas] , de la prosodie [Rouas 06], des émotions EN VIDEO Modélisation du mouvement humain [Foures 05] Identification de personnes par le costume [Jaffré 05] Résumé de vidéo [Bredin 08] En AUDIO VIDEO Identification de personnes par costume+visage [El Khoury 08] Détection de plusieurs personnes sur une vidéo [El Khoury 09] (1er système sur 30 campagne TRECVID 09) Détection de concepts [Bredin] (campagne NIST en juillet 09) * Analyse de l’environnement sonore et visuel de la scène * Données issues de supports hétérogènes: bandes sonores et vidéos de type pro (radio, TV) ou amateur (perso, meeting) => recherche de méthodes robustes et relativement génériques. Axe SSA – équipe SAMoVA Christine Sénac

Projets en cours en lien avec l’axe ANR masse de données EPAC (2007-2010): Exploration de masse de documents audio pour l’extraction et le traitement de la parole conversationnelle ANR blanc édition 2009 IMMED (2009-…): Indexation de données MultiMedia Embarquées pour le Diagnostic et le suivi des traitements des démences (avec labo médical ISPED Bordeaux) Suite du projet exploratoire (2007-2008) d’appel PEPS du département S2TI du CNRS Projet QUAERO coopération bilatérale franco- allemand (OSEO): évaluateur en A et V Axe SSA – équipe SAMoVA Christine Sénac

Liens Émotions: avec équipe Lilac Projet santé: avec équipe IHCS et scénario du projet AmIE Suivi d’objets: avec équipe Vortex (N7) Outils coopératifs pour gestion de réunion: début de collaboration avec équipe IC3 (Guy Camilleri et P.Zaraté) Axe SSA – équipe SAMoVA Christine Sénac

Attentes de l’équipe Pouvoir faire intervenir l’utilisateur: Pour juger de la pertinence des résultats (sous une autre forme qu’un score) Pour l’apprentissage semi automatique (ou actif) : i.e. guidé par l’utilisateur Axe SSA – équipe SAMoVA Christine Sénac