- TEMICS - Traitement d ’Images, Modélisation et CommunicationS Séminaire d ’évaluation du programme 3B (15-16/3 2001) - TEMICS - Traitement d ’Images, Modélisation et CommunicationS

Quelques dates, chiffres et mouvements 1997: TEMIS (Traitement, Exploitation et Modélisation d ’Images Séquentielles) se scinde en deux projets TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1 Mdc, 1 IR CNRS, 1 IE INRIA (50%)) VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active » Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), 1997-2001 1 CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000). Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA Doctorants: 8 soutenances sur la période 1997- Fév. 2001

Composition au 15 Mars 2001

(Analyse,modélisation, édition, et communication) Objectifs en 1997 (création du projet) Thème fédérateur : « Image et Communication » (Analyse,modélisation, édition, et communication) Conception de schémas robuste d ’analyse spatio-temporelle (segmentation, suivi) de séquences et d ’extraction des attributs (mouvement, forme, illumination, …) des objets Spécification de modèles conjoints pour l ’analyse d ’objets réels et synthétiques avec comme contexte la réalité augmentée Adéquation de la représentation/compression de l ’information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes

« Infléchissements » sur la période 1997-2001 Fédération des efforts en analyse, codage et codage conjoint pour fonctionnalités telles que: interactivité (manipulation, navigation), prise en compte des modèles de canal ; Elargissement de la problématique codage conjoint à des liens sans fils; Démarrage de travaux en tatouage d ’images et de séquences vidéo.

Axes de recherche (à partir de 1999) Analyse, modélisation, édition de séquences vidéo L. Amsaleg, L. Morin, H. Nicolas, S. Pateux 4 thèses soutenues + 5 thèses en cours Codage et codage conjoint source-canal pour communication vidéo C. Guillemot, C. labit (10 %) 4 thèses soutenues + 4 thèses en cours Tatouage d ’images et de séquences vidéo C. Guillemot, S. Pateux 1 thèse en cours

Bilan Principaux résultats algorithmiques Analyse, segmentation, suivi temporel (approches régions et contours) Codage basé régions, et codage basé sur une représentation par maillages Modélisation 3D pour compression et navigation Edition de séquences pour post-production Codage conjoint pour communication sur IP (codage robuste, contrôle de congestion point-à-point et multi-point, transformations redondantes) Codage conjoint pour communication sans fils (décodage turbo) Tatouage d ’images Logiciels Bilan factuel (publications, visibilité, collaborations)

Bilan (1): Analyse, segmentation, suivi temporel Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contour actif Attache aux données Terme de régularisation Minimisation de:

Bilan (2): Analyse, segmentation, suivi temporel Seconde approche: Approche orientée-régions Segmentation spatiale d ’images basée sur des outils de morphologie math. Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions Interface Graphique pour le suivi interactif

Bilan (3): Analyse, segmentation, suivi temporel Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

Bilan (4): Représentation par maillages Objectifs Suivi des déformations par maillage actif Maillage propre à un objet vidéo Modélisation hiérarchique adaptative Résultats Concept de lignes de ruptures Schéma de codage vidéo basé maillage Optimisation R-D des maillages

Bilan (5):Représentation/compression basées modèles 3D Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs. Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP R=117kb/s, format CIF, fr=25Hz Rec3D H263

Bilan (6): Edition de séquences Objectifs: Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels Analyse Analyse du mouvement + segmentation Reconstruction d’images panoramiques Analyse des conditions d ’éclairement Synthèse Création de nouvelles trajectoires Harmonisation conditions d ’éclairement

Bilan (7): Edition de séquences Détermination de la direction d ’éclairement Détection des variations d ’éclairement Segmentation de l ’ombre

Bilan (8): Codage conjoint source-canal (IP+sans fil) Optimiser la QoS en prenant en compte les modèles de la source et du canal Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal Equilibre approches compatibles et non compatibles

Optimisation R-D avec prise en Bilan (9) Codage conjoint compatible: redondance temporelle Objectif: transmission robuste aux pertes Estimation compensée en mvt de la propagation des pertes Métriques de performance débit-distorsion taux de pertes=10% Modèle de test H263 Optimisation R-D avec prise en compte du canal

Bilan (10) Codage conjoint compatible: contrôle de congestion Objectif: Adaptation à la bande passante Modèles de prédiction de bande passante Régulation de débit en point-à-point ò + £ feed n t N e dt R d ) ( B buff ~ 5% pertes, Rennes-Stuttgart

Bilan (11) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint Objectif: Adaptation à la bande passante en multi-point Algorithme de clustering et d’agrégation (Planète) Représentation scalable Modèles et régulation par niveau de scalabilité Récepteur 3 (100Kbit/s) Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

Décodage conjoint source-canal (sans fils) Bilan (15): (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Objectif: Exploiter la corrélation résiduelle ou introduite Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2) Décodage souple de VLCs, basé sur estimateur de type MAP Turbo décodage source-canal Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

Bilan (16): Codage conjoint non compatible Transformations redondantes Objectif: Introduire de la corrélation au niveau de la représentation de source Introduire de la redondance dans la représentation compressée du signal Exploiter la diversité dans un contexte de transmission multi-canal codeur de canal Codeur de source Décodeur de source décodage syndrôme Projec tion canal Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Décodage basé syndrôme (n,1) (n,n) (n,k) (k,k) (k,1) F « Bonnes » bases de décomposition? Mise en forme du bruit de quantification

Bilan(17): Tatouage d ’images fixes et animées Objectifs Insertion de marque robuste Invisibilité de la marque (masquage psychovisuel) Résistance aux attaques Analogie avec le codage canal Premiers résultats Modélisation des attaques Analogie codage canal technique d ’étalement de spectre utilisation de code correcteurs définition de la capacité d ’insertion originale tatouée Attaquée (JPEG 10%) Message inséré: Temics

Bilan (18): Logiciels Logiciels avancés Logiciels prototypes Logiciel de segmentation et de suivi interactif d’objets vidéo Logiciel de création d’images mosaïques intégré sous forme de “plug-in” dans le logiciel “after-effect” de post-production Logiciels prototypes Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible Librairie d’outils de traitement d’images et de développement de démos interactives

Visibilité Publications Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d ’actions intégrées Franco-Marocaine (C. Labit) Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST (99-2000), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot) .

Collaborations Inria Programme 3B Hors programme 3B Thèmes VISTA SIAMES SYNTIM Thèmes Analyse de mouvement, indexation et BDs Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST-Openise) Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect » Hors programme 3B RODEO/PLANETE SIGMA2 ARMOR CODES ARC-DEVIN: vidéo sur Internet Approches statistiques pour décodage conjoint source-canal Différenciation de services Montage projet RNRT sur tatouage

Collaborations Recherche Internationales Actions intégrées Univ. Brescia, Italie (Galilée) Univ. Rabat, Maroc (action France-Maroc) Univ. Polytechnique de catalogne, Espagne (Picasso) Univ. Hanovre, Allemagne (TMR- postdoc) Univ. Stuttgart, Allemagne (Procope) Thèmes Compression avec régions d ’intérêt pour télédiagnostic médical Co-encadrement thèses (statistiques d ’ordre supérieur en compression) Segmentation Modèles d ’illumination pour réalité augmentée Différenciation de services Accueils professeurs invités Univ. Illinois Chicago, USA QMW, Londres, UK Transformations redondantes et descriptions multiples Représentation 3D

Collaborations industrielles bi-latérales Partenaire Thèmes / Contributions Convention CIFRE Microprocess Mai 97 - Avr. 2000; bourse thèse IRISA+ 125KF Convention CIFRE Thomson TCO Mai 1998 - Avr. 2001; suivi thèse locaux TCO CTI-CNET Mars 96 - Mars 99; 525KF Convention CIFRE Thomson Multimédia Oct.98 - Sept. 2001; suivi thèse locaux TMM Edition semi-automatique de séquences Reconstruction interactive de scènes 3D Modélisation et représentation hiérarchique de scènes 3D Chaîne de navigation à distance dans des modèles 3D de scènes réelles Contrat CNES Nov. 97 - Oct. 2000; bourse thèse IRISA CTI - CNET Sept. 98 - Août 2001; 975 KF Contrat CELAR Sept 99-Mars 2000; 610KF Régulation de débit pour imagerie satellitaire Codage scalable pour transmission vidéo multipoint sur IP Décodage conjoint source-canal pour liaison vidéo en robotique mobile

Collaborations Multi-partenaires Projets Européens ESPRIT-NEMESIS (Sept. 1998 - Août. 2000) IST-SONG (Jan. 2000- Déc 2001) IST OPENISE (Jan. 2000-Déc 20001) Projets Nationaux RNRT-OSIAM (Déc. 1998 - Nov. 2001) RNRT-COHRAINTE (Mar. 1999 - Fév. 2002) RNRT-VISI (Sept 1999 - Fév. 2001) RNRT-V2NET (Jan. 2000- Déc. 2002) Contributions Edition de séquences, mosaïcking pour postproduction Codage robuste - contrôle de congestion sur IP Régulation de débit en différenciation de services Segmentation - suivi temporel Représentation par maillages Codage conjoint sur IP Modélisation 3D

Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet « Convergence » 2D / 2D déformable et 3D pour solutions codage basées modèles et manipulation

Perspectives (2): Analyse et codage conjoint Couplage des schémas robustes d’analyse spatio-temporelle avec les techniques de représentation robuste et scalable de l ’information

Perspectives (3): Analyse et codage conjoint Suivi maillage Texture générée Codage (~160Kb/s) MPEG-1 300Kb/s H263 160Kb/s H263 300Kb/s

Perspectives (4): Codage conjoint source-canal Prise en compte des modèles de canal dans la conception d’outils de représentation des images et signaux vidéo Renforcement des approches non compatibles représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée) conception de transformations multi-résolution redondantes codage par descriptions multiples (analogie codes espace-temps) exploitation du formalisme réseaux Bayésien en décodage conjoint (Discussions en cours: Convention Bouygues télécom, projet RNRT Eire, )

Perspectives (5): Tatouage + évolution projet Renforcement étude sur tatouage vidéo, en mettant l’accent sur tatouage multi-niveau Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d ’une base (Projet RNRT et projet IST en cours de montage) La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage. Réflexion sur création activité de recherche autonome sur les techniques de description, d ’exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques.