Atelier Franco-Marocain STIC - 28-29 Mai 2001 Problématiques liées à la communication vidéo sur réseaux INRIA-Rennes projet TEMICS Stéphane Pateux http://www.irisa.fr/temics/

Contexte général Communication vidéo bande passante limitée : compression contexte MPEG4: codage orienté-objets analyse de la vidéo: segmentation, modélisation d ’objets nouvelles approches innovantes édition vidéo post-production transmission sur réseau à QoS non garantie codage conjoint source canal protection de documents tatouage de flux multimédia z

Plan Contexte général Analyse, segmentation, suivi temporel d ’objets vidéo Manipulation vidéo Codage conjoint source canal Tatouage Quelques sujets ouverts et autres labos en France travaillant sur ces sujets

Analyse, segmentation, suivi temporel Problématique segmentation pour le codage amélioration globale de la compression compression avec régions d ’intérêts suivi d ’objets vidéos modélisation d ’objets vidéos représentation par maillages actifs reconstruction 3D

Analyse, segmentation, suivi temporel Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

Analyse, segmentation, suivi temporel Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contours actifs Attache aux données Terme de régularisation Minimisation de:

Analyse, segmentation, suivi temporel Seconde approche: Approche orientée-régions Segmentation spatiale d ’images basée sur des outils de morphologie math. Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions Interface Graphique pour le suivi interactif

Représentation par maillages Objectifs Suivi des déformations par maillage actif Maillage propre à un objet vidéo Modélisation hiérarchique adaptative Résultats Concept de lignes de ruptures Schéma de codage vidéo basé maillage Optimisation R-D des maillages

Représentation par maillages et segmentation Mesh tracking Mosaick Evolution Reconsctruction Codage 100 Kbit/s CIF@15hz

Représentation/compression basées modèles 3D Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs. Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP R=117kb/s, format CIF, fr=25Hz Rec3D H263

Edition de vidéos Problématique: mixage de scène téléconférence virtuelle ajout/suppression d ’objets vidéos gestion des problèmes d ’illuminations

Edition de séquences Analyse Synthèse Objectifs: Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels Analyse Analyse du mouvement + segmentation Reconstruction d’images panoramiques Analyse des conditions d ’éclairement Synthèse Création de nouvelles trajectoires Harmonisation conditions d ’éclairement

Edition de séquences Détermination de la direction d ’éclairement Détection des variations d ’éclairement Segmentation de l ’ombre

Codage conjoint source-canal (IP+sans fil) Optimiser la QoS en prenant en compte les modèles de la source et du canal Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal Equilibre approches compatibles et non compatibles

Codage conjoint compatible: redondance temporelle Objectif: transmission robuste aux pertes Estimation compensée en mvt de la propagation des pertes Métriques de performance débit-distorsion taux de pertes=10% Modèle de test H263 Optimisation R-D avec prise en compte du canal

Codage conjoint compatible: contrôle de congestion Objectif: Adaptation à la bande passante Modèles de prédiction de bande passante Régulation de débit en point-à-point ò + £ feed n t N e dt R d ) ( B buff ~ 5% pertes, Rennes-Stuttgart

Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint Objectif: Adaptation à la bande passante en multi-point Algorithme de clustering et d’agrégation (Planète) Représentation scalable Modèles et régulation par niveau de scalabilité Récepteur 3 (100Kbit/s) Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

Décodage conjoint source-canal (sans fils) (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Objectif: Exploiter la corrélation résiduelle ou introduite Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2) Décodage souple de VLCs, basé sur estimateur de type MAP Turbo décodage source-canal Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

Codage conjoint non compatible Transformations redondantes Objectif: Introduire de la corrélation au niveau de la représentation de source Introduire de la redondance dans la représentation compressée du signal Exploiter la diversité dans un contexte de transmission multi-canal codeur de canal Codeur de source Décodeur de source décodage syndrôme Projec tion canal Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Décodage basé syndrôme (n,1) (n,n) (n,k) (k,k) (k,1) F « Bonnes » bases de décomposition? Mise en forme du bruit de quantification

Protection de documents multimédias Problématique limiter le risque de piratage de contenu numérique insertion d ’une marque invisible dans l ’image résistance à différentes manipulations non-intentionnelles compression, filtrage, cropping, retaille intentionnelles

Tatouage d ’images fixes et animées Objectifs Insertion de marque robuste Invisibilité de la marque (masquage psychovisuel) Résistance aux attaques Analogie avec le codage canal Approche étudiée Modélisation des attaques Analogie codage canal technique d ’étalement de spectre utilisation de code correcteurs définition de la capacité d ’insertion et/ou taux d ’erreurs originale tatouée Mise en forme Message M Transfo.-1 Image tatouée Transformation Image P Clef K Choix de sites Marque W Insertion Coefficients V

Analyse automatique ou pseudo-automatique Compression vidéo Quelques sujets Analyse automatique ou pseudo-automatique Compression vidéo intérêt codage orienté objets? développement de schémas vraiment scalable convergence 2D-3D? Codage conjoint diffusion multicast gestion des nouveaux réseaux (sans fils) Tatouage tatouage assymétrique résistance accrue face aux attaques formalisation du problème

Quelques équipes travaillant sur ces sujets GDR ISIS: http://www-isis.enst.fr/ groupement de recherche CNRS sur les activités traitement du signal et de l ’image Analyse d ’image - compression SEI - Ecole polytechnique Nantes (D. Barba) LIS - Grenoble (JM Chassery) I3S-CReATIVe - Sophia Antipolis (M. Barlaud) LIGIV - Lyon (A. Baskurt) CREATIS - INSA Lyon (R. Prost, I. Magnin)

Quelques équipes travaillant sur ces sujets Codage conjoint source canal LIP6 (K. Salamatian) Planete - INRIA Sophia-Antipolis (T. Turletti) SEI - Nantes (JP Guédon) Tatouage UTC (F. Davoine) LIS (JM Chassery) Eurecom (JL. Dugelay) Supelec (P. Duhamel) SIC - Poitiers (C. Fernandez)