- TEMICS - Traitement d ’Images, Modélisation et CommunicationS Séminaire d ’évaluation du programme 3B 15/16 Mars 2001

F 1997: TEMIS (Traitement, Exploitation et Modélisation d ’Images Séquentielles) se scinde en deux projets F TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1 Mdc, 1 IR CNRS, 1 IE INRIA (50%)) F VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active » Quelques dates, chiffres et mouvements F Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000). Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA F Doctorants: 8 soutenances sur la période Fév. 2001

Composition au 15 Mars 2001

Objectifs en 1997 (création du projet) F Conception de schémas robuste d ’analyse spatio-temporelle (segmentation, suivi) de séquences et d ’extraction des attributs (mouvement, forme, illumination, …) des objets F Spécification de modèles conjoints pour l ’analyse d ’objets réels et synthétiques avec comme contexte la réalité augmentée F Adéquation de la représentation/compression de l ’information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes Thème fédérateur : « Image et Communication » (Analyse,modélisation, édition, et communication)

Infléchissements sur la période F Fédération des efforts en analyse, codage et codage conjoint pour fonctionalités telles que: í interactivité (manipulation, navigation), í prise en compte des modèles de canal ; F Elargissement de la problématique codage conjoint à des liens sans fils; F Démarrage de travaux en tatouage d ’images et de séquences vidéo.

Structuration (à partir de 1999)  Analyse, modélisation, édition de séquences vidéo L. Amsaleg, C. Labit (5%), L. Morin, H. Nicolas, S. Pateux 4 thèses soutenues + 5 thèses en cours  Codage et codage conjoint source-canal pour communication vidéo C. Guillemot, C. labit (5%), S. Pateux 4 thèses soutenues + 4 thèses en cours  Tatouage d ’images et de séquences vidéo C. Guillemot, S. Pateux 1 thèse en cours

Bilan (1): Analyse, segmentation, suivi temporel Suivi temporel basé-contours í Utilisation de contours actifs dans un cadre multi-objets í Suivi des objets par filtrage de Kalman í Interpolation d ’images intermédiaires Contour actif Attache aux données Terme de régularisation Minimisation de: Objectifs: í Segmentation avec bonne localisation spatiale í Suivi temporel í Représentation compacte et scalable

Bilan (2): Analyse, segmentation, suivi temporel Suivi temporel d ’objets vidéos: approche orientée-régions Segmentation spatiale d ’images Suivi par affectations régions projection au sens du mouvement redécoupage régions Gestion objets multiples et déformables Interface Graphique pour le suivi interactif

Codage basé régions í Segmentation basée mouvement í Modèles de mouvement affines í Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s) Bilan (3): Analyse, segmentation, suivi temporel

Bilan (4): Représentation par maillages Objectifs Suivi des déformations par maillage actif Maillage propre à un objet vidéo Modélisation hiérarchique adaptative Résultats Concept de lignes de ruptures Schéma de codage vidéo basé maillage Optimisation R-D des maillages

Bilan (5):Représentation/compression basées modèles 3D Objectifs: í Objectifs combinés de compression et de navigation dans de grandes scènes í Modélisation 3D à partir de séquences monoculaires (géométrie projective, auto-calibration) í Représentation compacte et scalable Approches: í Estimation de mvt par maillage í Critères mixtes compression-qualité rendu í Suite modèles 3D + images clés de texture + paramètres position caméra; schéma IPP

R=117kb/s, format CIF, f r =25Hz H263Rec3D Bilan (6):Représentation/compression basées modèles 3D

Segmentation basée objet Bilan (7): Edition de séquences

Bilan (8): Edition de séquences Analyse du mouvement Analyse des conditions d ’éclairement AnalyseSynthèse Création de nouvelles trajectoire harmonisation conditions d ’éclairement

Bilan (9): Edition de séquences Analyse Mosaïcking Synthèse

Détermination de la direction d ’éclairement Détection des variations d ’éclairement Segmentation de l ’ombre Bilan (10): Edition de séquences

Bilan (11): Codage conjoint source-canal (IP+sans fil)  Optimiser la QoS en prenant en compte à la fois les modèles de la source et du canal  Canaux hétérogènes: non stationnaires, multipoints, topologie (fixes+sans fils)  Approches complémentaires: - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal  Equilibre approches compatibles et non compatibles

Modèle de test H263 Optimisation R-D avec prise en compte du canal taux de pertes=10% Bilan (12) Codage conjoint compatible: redondance temporelle Métriques de performance débit-distorsion Estimation compensée en mvt de la propagation des pertes

Bilan (13) Codage conjoint compatible: contrôle de congestion  Modèles de prédiction de bande passante  Régulation de débit en point-à-point et multi-point     feedn n n n t t t t N e dtt R tR   )( )(  n e tB)(  buff ~ 5% pertes, Rennes-Stuttgart

Bilan (14) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint  Algorithme de clustering (Planète)  Représentation scalable  Modèles et régulation de débit par niveau de scalabilité Récepteur 3 (100Kbit/s) Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

Bilan (15): Codage conjoint compatible Décodage conjoint source-canal (sans fils)  Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2)  Décodage souple de VLCs, basé sur estimateur de type MAP  Turbo décodage source-canal  Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

Bilan (16): Codage conjoint non compatible m Introduire de la redondance dans la représentation compressée du signal m Exploiter la diversité dans un contexte de transmission multi-canal

Bilan (17): Codage conjoint non compatible Transformations redondantes codeur de canal Codeur de source Décodeur de source décodage syndrôme (n,n)(n,k)(k,k)(k,1)(n,1) F Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Projec tion canal « Bonnes » bases de décomposition? Mise en forme du bruit de quantification Décodage syndrome

Bilan(18): Tatouage d ’images fixes et animées Objectifs –Insertion de marque robuste –Invisibilité de la marque (masquage psychovisuel) –Résistance aux attaques –Analogie avec le codage canal Premiers résultats –Modélisation des attaques –Analogie codage canal technique d ’étalement de spectre utilisation de code correcteurs définition de la capacité d ’insertion Message inséré: Temics originaletatouée Attaquée (JPEG 10%)

Bilan(19): Tatouage d ’images fixes et animées image transf message (k bits) Code correcteurs N bits insertionTransf -1 clé crypto Image tatouée Manipulations, attaques Image tatouée modifiée TransfExtractiondécodage canal Message extrait insertion: avec : base de vecteurs pseudo-aléatoires attaque: extraction: qualité: Canal gaussien symétrique But: sous les contraintes: et  spécifie les paramètres d’insertions et d ’extractions  capacité/fiabilité du système Transmission Filtrage-bruit-compression,...

Bilan (20): Logiciels  Logiciel de segmentation et de suivi interactif d’objets vidéo  Logiciel de création d’images mosaïques intégré sous forme de “plug-in” dans le logiciel “after-effect” de post-production Logiciels avancés Logiciels prototypes  Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible  Librairie d’outils de traitement d’images et de développement de démos interactives

Visibilité Publications Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d ’actions intégrées Franco-Marocaine (C. Labit) Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST ( ), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot).

Collaborations Inria Programme 3B  VISTA  SIAMES  SYNTIM Hors programme 3B  RODEO/PLANETE  SIGMA2  ARMOR  CODES Analyse de mouvement, indexation et BDs Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect » Thèmes Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST- Openise) ARC-DEVIN: vidéo sur Internet Approches statistiques pour décodage conjoint source-canal Montage projet RNRT sur tatouage Différenciation de services

Collaborations Recherche Internationales Actions intégrées  Univ. Brescia, Italie (Galilée)  Univ. Rabat, Maroc (action France-Maroc)  Univ. Polytechnique de catalogne, Espagne (Picasso)  Univ. Hanovre, Allemagne (TMR- postdoc)  Univ. Stuttgart, Allemagne (Procope) Accueils professeurs invités  Univ. Illinois Chicago, USA  QMW, Londres, UK Compression avec régions d ’intérêt pour télédiagnostic médical Segmentation Modèles d ’illumination pour réalité augmentée Thèmes Co-encadrement thèses (statistiques d ’ordre supérieur en compression) Différenciation de services Transformations redondantes et descriptions multiples Représentation 3D

ê Convention CIFRE Microprocess Mai 97 - Avr. 2000; bourse thèse IRISA+ 125KF  Convention CIFRE Thomson TCO Mai Avr. 2001; suivi thèse locaux TCO  CTI-CNET Mars 96 - Mars 99; 525KF  Convention CIFRE Thomson Multimedia Oct.98 - Sept. 2001; suivi thèse locaux TMM Collaborations industrielles bi-latérales (1) Edition semi-automatique de séquences Reconstruction interactive de scènes 3D Chaîne de navigation à distance dans des modèles 3D de scènes rélles Thèmes / Contributions Modélisation et représentation hiérarchique de scènes 3D Partenaire

 Contrat CNES Nov Oct. 2000; bourse thèse IRISA  CTI - CNET Sept Août 2001; 975 KF  Contrat CELAR Sept 99-Mars 2000; 610KF Collaborations industrielles bi-latérales (2) Thèmes / Contributions Décodage conjoint source-canal pour liaison vidéo en robotique mobile Codage scalable pour transmission vidéo multipoint sur IP Régulation de débit pour imagerie satellitaire Partenaire

Collaborations Multi-partenaires Projets Européens  ESPRIT-NEMESIS (Sept Août. 2000)  IST-SONG (Jan Déc 2001)  IST OPENISE (Jan Déc 20001) Projets Nationaux  RNRT-OSIAM (Déc Nov. 2001)  RNRT-COHRAINTE (Mar Fév. 2002)  RNRT-VISI (Sept Fév. 2001)  RNRT-V2NET (Jan Déc. 2002) Edition de séquences, mosaïcking pour postproduction Codage robuste - contrôle de congestion sur IP Régulation de débit en différenciation de services Segmentation - suivi temporel Représentation par maillages Codage conjoint sur IP Modélisation 3D Contributions

Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet å « Convergence » 2D / 2D déformable et 3D pour solutions basées modèles

Perspectives (2): Analyse et codage conjoint å Couplage des schémas robustes d’analyse spatio-temporelle avec les techniques de représentation robuste et scalable de l ’information

Perspectives (3): Codage conjoint source-canal å Prise en compte des modèles de canal dans la conception d ’outils de représentation des images et signaux vidéo å Renforcement des approches non compatibles í représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée) í conception de transformations multi-résolution redondantes í codage par descriptions multiples (analogie codes espace-temps) í exploitation du formalisme réseaux Bayésien en décodage conjoint (Discussions en cours: Convention Bouygues télécom, projet RNRT)

Perspectives (4): Tatouage å Renforcement étude sur tatouage vidéo, en mettant l’accent sur tatouage multi-niveau å Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d ’une base (Projet RNRT et projet IST en cours de montage)

Perspectives (4): Evolution du projet å Réflexion sur création activité de recherche autonome sur les techniques de description, d ’exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques. å La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage.