Atelier Franco-Marocain STIC Mai 2001

Présentation au sujet: "Atelier Franco-Marocain STIC Mai 2001"— Transcription de la présentation:

1 Atelier Franco-Marocain STIC - 28-29 Mai 2001
Problématiques liées à la communication vidéo sur réseaux INRIA-Rennes projet TEMICS Stéphane Pateux

2 Contexte général Communication vidéo
bande passante limitée : compression contexte MPEG4: codage orienté-objets analyse de la vidéo: segmentation, modélisation d ’objets nouvelles approches innovantes édition vidéo post-production transmission sur réseau à QoS non garantie codage conjoint source canal protection de documents tatouage de flux multimédia z

3 Plan Contexte général Analyse, segmentation, suivi temporel d ’objets vidéo Manipulation vidéo Codage conjoint source canal Tatouage Quelques sujets ouverts et autres labos en France travaillant sur ces sujets

4 Analyse, segmentation, suivi temporel
Problématique segmentation pour le codage amélioration globale de la compression compression avec régions d ’intérêts suivi d ’objets vidéos modélisation d ’objets vidéos représentation par maillages actifs reconstruction 3D

5 Analyse, segmentation, suivi temporel
Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

6 Analyse, segmentation, suivi temporel
Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contours actifs Attache aux données Terme de régularisation Minimisation de:

7 Analyse, segmentation, suivi temporel
Seconde approche: Approche orientée-régions Segmentation spatiale d ’images basée sur des outils de morphologie math. Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions Interface Graphique pour le suivi interactif

8 Représentation par maillages
Objectifs Suivi des déformations par maillage actif Maillage propre à un objet vidéo Modélisation hiérarchique adaptative Résultats Concept de lignes de ruptures Schéma de codage vidéo basé maillage Optimisation R-D des maillages

9 Représentation par maillages et segmentation
Mesh tracking Mosaick Evolution Reconsctruction Codage 100 Kbit/s

10 Représentation/compression basées modèles 3D
Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs. Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP R=117kb/s, format CIF, fr=25Hz Rec3D H263

11 Edition de vidéos Problématique: mixage de scène
téléconférence virtuelle ajout/suppression d ’objets vidéos gestion des problèmes d ’illuminations

12 Edition de séquences Analyse Synthèse Objectifs:
Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels Analyse Analyse du mouvement + segmentation Reconstruction d’images panoramiques Analyse des conditions d ’éclairement Synthèse Création de nouvelles trajectoires Harmonisation conditions d ’éclairement

13 Edition de séquences Détermination de la direction d ’éclairement
Détection des variations d ’éclairement Segmentation de l ’ombre

14 Codage conjoint source-canal (IP+sans fil)
Optimiser la QoS en prenant en compte les modèles de la source et du canal Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal Equilibre approches compatibles et non compatibles

15 Codage conjoint compatible: redondance temporelle
Objectif: transmission robuste aux pertes Estimation compensée en mvt de la propagation des pertes Métriques de performance débit-distorsion taux de pertes=10% Modèle de test H263 Optimisation R-D avec prise en compte du canal

16 Codage conjoint compatible: contrôle de congestion
Objectif: Adaptation à la bande passante Modèles de prédiction de bande passante Régulation de débit en point-à-point ò + feed n t N e dt R d ) ( B buff ~ 5% pertes, Rennes-Stuttgart

17 Codage conjoint compatible: codage scalable robuste
et contrôle de congestion multipoint Objectif: Adaptation à la bande passante en multi-point Algorithme de clustering et d’agrégation (Planète) Représentation scalable Modèles et régulation par niveau de scalabilité Récepteur 3 (100Kbit/s) Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)

18 Décodage conjoint source-canal (sans fils)
(Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Objectif: Exploiter la corrélation résiduelle ou introduite Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2) Décodage souple de VLCs, basé sur estimateur de type MAP Turbo décodage source-canal Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

19 Codage conjoint non compatible
Transformations redondantes Objectif: Introduire de la corrélation au niveau de la représentation de source Introduire de la redondance dans la représentation compressée du signal Exploiter la diversité dans un contexte de transmission multi-canal codeur de canal Codeur de source Décodeur de source décodage syndrôme Projec tion canal Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Décodage basé syndrôme (n,1) (n,n) (n,k) (k,k) (k,1) F « Bonnes » bases de décomposition? Mise en forme du bruit de quantification

20 Protection de documents multimédias
Problématique limiter le risque de piratage de contenu numérique insertion d ’une marque invisible dans l ’image résistance à différentes manipulations non-intentionnelles compression, filtrage, cropping, retaille intentionnelles

21 Tatouage d ’images fixes et animées
Objectifs Insertion de marque robuste Invisibilité de la marque (masquage psychovisuel) Résistance aux attaques Analogie avec le codage canal Approche étudiée Modélisation des attaques Analogie codage canal technique d ’étalement de spectre utilisation de code correcteurs définition de la capacité d ’insertion et/ou taux d ’erreurs originale tatouée Mise en forme Message M Transfo.-1 Image tatouée Transformation Image P Clef K Choix de sites Marque W Insertion Coefficients V

22 Analyse automatique ou pseudo-automatique Compression vidéo
Quelques sujets Analyse automatique ou pseudo-automatique Compression vidéo intérêt codage orienté objets? développement de schémas vraiment scalable convergence 2D-3D? Codage conjoint diffusion multicast gestion des nouveaux réseaux (sans fils) Tatouage tatouage assymétrique résistance accrue face aux attaques formalisation du problème

23 Quelques équipes travaillant sur ces sujets
GDR ISIS: groupement de recherche CNRS sur les activités traitement du signal et de l ’image Analyse d ’image - compression SEI - Ecole polytechnique Nantes (D. Barba) LIS - Grenoble (JM Chassery) I3S-CReATIVe - Sophia Antipolis (M. Barlaud) LIGIV - Lyon (A. Baskurt) CREATIS - INSA Lyon (R. Prost, I. Magnin)

24 Quelques équipes travaillant sur ces sujets
Codage conjoint source canal LIP6 (K. Salamatian) Planete - INRIA Sophia-Antipolis (T. Turletti) SEI - Nantes (JP Guédon) Tatouage UTC (F. Davoine) LIS (JM Chassery) Eurecom (JL. Dugelay) Supelec (P. Duhamel) SIC - Poitiers (C. Fernandez)