La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

- TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du programme 3B (15-16/3 2001)

Présentations similaires


Présentation au sujet: "- TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du programme 3B (15-16/3 2001)"— Transcription de la présentation:

1 - TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du programme 3B (15-16/3 2001)

2 F 1997: TEMIS (Traitement, Exploitation et Modélisation d Images Séquentielles) se scinde en deux projets F TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1 Mdc, 1 IR CNRS, 1 IE INRIA (50%)) F VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active » Quelques dates, chiffres et mouvements F Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000). Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA F Doctorants: 8 soutenances sur la période Fév. 2001

3 Composition au 15 Mars 2001

4 Objectifs en 1997 (création du projet) F Conception de schémas robuste d analyse spatio-temporelle (segmentation, suivi) de séquences et d extraction des attributs (mouvement, forme, illumination, …) des objets F Spécification de modèles conjoints pour l analyse d objets réels et synthétiques avec comme contexte la réalité augmentée F Adéquation de la représentation/compression de l information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes Thème fédérateur : « Image et Communication » (Analyse,modélisation, édition, et communication)

5 « Infléchissements » sur la période F Fédération des efforts en analyse, codage et codage conjoint pour fonctionnalités telles que: í interactivité (manipulation, navigation), í prise en compte des modèles de canal ; F Elargissement de la problématique codage conjoint à des liens sans fils; F Démarrage de travaux en tatouage d images et de séquences vidéo.

6 Axes de recherche (à partir de 1999) Analyse, modélisation, édition de séquences vidéo L. Amsaleg, L. Morin, H. Nicolas, S. Pateux 4 thèses soutenues + 5 thèses en cours Codage et codage conjoint source-canal pour communication vidéo C. Guillemot, C. labit (10 %) 4 thèses soutenues + 4 thèses en cours Tatouage d images et de séquences vidéo C. Guillemot, S. Pateux 1 thèse en cours

7 F Principaux résultats algorithmiques í Analyse, segmentation, suivi temporel (approches régions et contours) í Codage basé régions, et codage basé sur une représentation par maillages í Modélisation 3D pour compression et navigation í Edition de séquences pour post-production í Codage conjoint pour communication sur IP (codage robuste, contrôle de congestion point-à-point et multi-point, transformations redondantes) í Codage conjoint pour communication sans fils (décodage turbo) í Tatouage d images F Logiciels F Bilan factuel (publications, visibilité, collaborations) Bilan

8 Bilan (1): Analyse, segmentation, suivi temporel Première approche: Suivi temporel basé-contours í Utilisation de contours actifs dans un cadre multi-objets í Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contour actif Attache aux données Terme de régularisation Minimisation de: Objectifs: í Segmentation avec bonne localisation spatiale + suivi temporel í Gestion objets multiples et déformables í Représentation compacte et scalable

9 Bilan (2): Analyse, segmentation, suivi temporel Seconde approche: Approche orientée-régions í Segmentation spatiale d images basée sur des outils de morphologie math. í Suivi temporel d objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions í Interface Graphique pour le suivi interactif

10 Codage basé régions í Segmentation basée mouvement avec modèles de mouvement affines í Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s) Bilan (3): Analyse, segmentation, suivi temporel

11 Bilan (4): Représentation par maillages Objectifs Suivi des déformations par maillage actif Maillage propre à un objet vidéo Modélisation hiérarchique adaptative Résultats Concept de lignes de ruptures Schéma de codage vidéo basé maillage Optimisation R-D des maillages

12 Bilan (5):Représentation/compression basées modèles 3D Objectifs: í Objectifs de compression et de navigation dans de grandes scènes í Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) í Représentation compacte et scalable des modèles et attributs. Approche: í Estimation de mouvement par maillage í Critères mixtes compression-qualité rendu í Suite modèles 3D + images clés texture + position caméra; schéma IPP H263 Rec3D R=117kb/s, format CIF, f r =25Hz

13 Bilan (6): Edition de séquences Analyse du mouvement + segmentation Reconstruction dimages panoramiques Analyse des conditions d éclairement Analyse Synthèse Création de nouvelles trajectoires Harmonisation conditions d éclairement Objectifs: í Manipulation d objets dans une séquence í Mélange réaliste d objets synthétiques et d objets naturels

14 Détermination de la direction d éclairement Détection des variations d éclairement Segmentation de l ombre Bilan (7): Edition de séquences

15 Bilan (8): Codage conjoint source-canal (IP+sans fil) Optimiser la QoS en prenant en compte les modèles de la source et du canal Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal Equilibre approches compatibles et non compatibles

16 Modèle de test H263 Optimisation R-D avec prise en compte du canal taux de pertes=10% Bilan (9) Codage conjoint compatible: redondance temporelle Métriques de performance débit-distorsion Estimation compensée en mvt de la propagation des pertes Objectif: transmission robuste aux pertes

17 Bilan (10) Codage conjoint compatible: contrôle de congestion Modèles de prédiction de bande passante Régulation de débit en point-à-point feedn n n n t t t t N e dtt R tR )( )( n e tB)( buff ~ 5% pertes, Rennes-Stuttgart Objectif: Adaptation à la bande passante

18 Bilan (11) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint Récepteur 3 (100Kbit/s) Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s) Algorithme de clustering et dagrégation (Planète) Représentation scalable Modèles et régulation par niveau de scalabilité Objectif: Adaptation à la bande passante en multi-point

19 Bilan (15): (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2) Décodage souple de VLCs, basé sur estimateur de type MAP Turbo décodage source-canal Synchronisation douce de VLCS Réseau Bayésien aléatoire Objectif: Exploiter la corrélation résiduelle ou introduite

20 Bilan (16): Codage conjoint non compatible Transformations redondantes codeur de canal Codeur de source Décodeur de source décodage syndrôme (n,n)(n,k)(k,k)(k,1)(n,1) F Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Projec tion canal « Bonnes » bases de décomposition? Mise en forme du bruit de quantification ñ Introduire de la redondance dans la représentation compressée du signal ñ Exploiter la diversité dans un contexte de transmission multi-canal Objectif: Introduire de la corrélation au niveau de la représentation de source Décodage basé syndrôme

21 Bilan(17): Tatouage d images fixes et animées Objectifs –Insertion de marque robuste –Invisibilité de la marque (masquage psychovisuel) –Résistance aux attaques –Analogie avec le codage canal Premiers résultats –Modélisation des attaques –Analogie codage canal technique d étalement de spectre utilisation de code correcteurs définition de la capacité d insertion Message inséré: Temics originaletatouée Attaquée (JPEG 10%)

22 Bilan (18): Logiciels Logiciel de segmentation et de suivi interactif dobjets vidéo Logiciel de création dimages mosaïques intégré sous forme de plug-in dans le logiciel after-effect de post-production Logiciels avancés Logiciels prototypes Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible Librairie doutils de traitement dimages et de développement de démos interactives

23 Visibilité Publications Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d actions intégrées Franco-Marocaine (C. Labit) Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST ( ), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot).

24 Collaborations Inria Programme 3B VISTA SIAMES SYNTIM Hors programme 3B RODEO/PLANETE SIGMA2 ARMOR CODES Analyse de mouvement, indexation et BDs Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect » Thèmes Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST- Openise) ARC-DEVIN: vidéo sur Internet Approches statistiques pour décodage conjoint source-canal Montage projet RNRT sur tatouage Différenciation de services

25 Collaborations Recherche Internationales Actions intégrées Univ. Brescia, Italie (Galilée) Univ. Rabat, Maroc (action France-Maroc) Univ. Polytechnique de catalogne, Espagne (Picasso) Univ. Hanovre, Allemagne (TMR- postdoc) Univ. Stuttgart, Allemagne (Procope) Accueils professeurs invités Univ. Illinois Chicago, USA QMW, Londres, UK Compression avec régions d intérêt pour télédiagnostic médical Segmentation Modèles d illumination pour réalité augmentée Thèmes Co-encadrement thèses (statistiques d ordre supérieur en compression) Différenciation de services Transformations redondantes et descriptions multiples Représentation 3D

26 ê Convention CIFRE Microprocess Mai 97 - Avr. 2000; bourse thèse IRISA+ 125KF Convention CIFRE Thomson TCO Mai Avr. 2001; suivi thèse locaux TCO CTI-CNET Mars 96 - Mars 99; 525KF Convention CIFRE Thomson Multimédia Oct.98 - Sept. 2001; suivi thèse locaux TMM Collaborations industrielles bi-latérales Edition semi-automatique de séquences Reconstruction interactive de scènes 3D Chaîne de navigation à distance dans des modèles 3D de scènes réelles Thèmes / Contributions Modélisation et représentation hiérarchique de scènes 3D Partenaire Contrat CNES Nov Oct. 2000; bourse thèse IRISA CTI - CNET Sept Août 2001; 975 KF Contrat CELAR Sept 99-Mars 2000; 610KF Décodage conjoint source-canal pour liaison vidéo en robotique mobile Codage scalable pour transmission vidéo multipoint sur IP Régulation de débit pour imagerie satellitaire

27 Collaborations Multi-partenaires Projets Européens ESPRIT-NEMESIS (Sept Août. 2000) IST-SONG (Jan Déc 2001) IST OPENISE (Jan Déc 20001) Projets Nationaux RNRT-OSIAM (Déc Nov. 2001) RNRT-COHRAINTE (Mar Fév. 2002) RNRT-VISI (Sept Fév. 2001) RNRT-V2NET (Jan Déc. 2002) Edition de séquences, mosaïcking pour postproduction Codage robuste - contrôle de congestion sur IP Régulation de débit en différenciation de services Segmentation - suivi temporel Représentation par maillages Codage conjoint sur IP Modélisation 3D Contributions

28 Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet å « Convergence » 2D / 2D déformable et 3D pour solutions codage basées modèles et manipulation

29 Perspectives (2): Analyse et codage conjoint å Couplage des schémas robustes danalyse spatio-temporelle avec les techniques de représentation robuste et scalable de l information

30 Suivi maillageTexture généréeCodage (~160Kb/s) MPEG-1 300Kb/sH Kb/sH Kb/s Perspectives (3): Analyse et codage conjoint

31 Perspectives (4): Codage conjoint source-canal å Prise en compte des modèles de canal dans la conception doutils de représentation des images et signaux vidéo å Renforcement des approches non compatibles í représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée) í conception de transformations multi-résolution redondantes í codage par descriptions multiples (analogie codes espace-temps) í exploitation du formalisme réseaux Bayésien en décodage conjoint (Discussions en cours: Convention Bouygues télécom, projet RNRT Eire, )

32 Perspectives (5): Tatouage + évolution projet å Renforcement étude sur tatouage vidéo, en mettant laccent sur tatouage multi-niveau å Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d une base (Projet RNRT et projet IST en cours de montage) å Réflexion sur création activité de recherche autonome sur les techniques de description, d exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques. å La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage.


Télécharger ppt "- TEMICS - Traitement d Images, Modélisation et CommunicationS Séminaire d évaluation du programme 3B (15-16/3 2001)"

Présentations similaires


Annonces Google