La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le chapitrage des documents audio-visuels numériques Objectifs.

Présentations similaires


Présentation au sujet: "Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le chapitrage des documents audio-visuels numériques Objectifs."— Transcription de la présentation:

1 Laboratoire Bordelais de Recherche en Informatique 23/02/ Extraction dobjets pour le chapitrage des documents audio-visuels numériques Objectifs : extraire les objets des séquences vidéo et indexer le contenu par objets Après lextraction : calculer les descripteurs de la forme, de la texture, de la couleur. Pb. dextraction est le plus complexe ! Dans notre cours : uniquement les méthodes dites coopératives – basées régions seront proposées.

2 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Sommaire 1. Introduction 2. Construction de la segmentation spatio-temporelle - objet 3. Eléments du suivi des segmentations spatio- temporelles 4. Extraction des informations de la composition des scènes

3 Laboratoire Bordelais de Recherche en Informatique 23/02/ Introduction MPEG1, 2MPEG4,7 Blocs VOs

4 Laboratoire Bordelais de Recherche en Informatique 23/02/ Construction de la segmentation spatio- temporelle - objet Modes: - « manuel » - rotoscoping (pratiques de pp. vidéo) - semi-automatique (IRISA, IRCCyN, UPC, I3S, plate-forme OSIAM, plate-forme MoMuSys et al., « blue screenning ») - automatique (IRISA, IRCCyN, UPC, Univ. de Tel- Aviv, Univ. de Hannover …)

5 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatio-temporelle semi - automatique(I) Interaction de l utilisateur Segmentation spatialeEstimation du mouvement IRISA/TEMIC

6 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatio-temporelle semi - automatique (II) Segmentation spatiale Estimation du mouvement Fusion basée mouvement Interaction de l utilisateur

7 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Superposition de la segmentation spatiale et la classification des régions Estimation du mouvement et fusion intra-classe Affectation inter-classe si possible Approche à l interaction minimale

8 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatio-temporelle automatique Pour les scènes génériques la segmentation purement automatique reste un défi! SST MDL (optimisé par rapport au codage) IRISA/TEMIC S. Pateux, C. Labit SST coopérative IRCCyN J. Benois,F. Morier, D. Barba

9 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatio-temporelle automatique(II) IRISA/ Vista P. Bouthemy, M. Gelgon étiquetage stochastique du GAR (Champs de Markov) IRCCyN/ISA/IVC F.Morier, J. Benois, D. Barba fusion ascendante basée sur les mesures de la qualité de compensation du mouvement

10 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatio-temporelle Deux phases : - la segmentation spatiale : approches morphologique, texturelle (markovienne), MDL, pyramides de luminance… - prise en compte du mouvement : estimation paramétrique, fusion

11 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation couleur morphologique (1)Calcul du gradient morphologique sur la luminance (Y) pour obtenir les contours des objets où

12 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation Watershed modifié Image comme surface topographique A chaque région connexe est associée un bassin A chaque barrière de gradient est associée un barrage x x C(x) |G(x)| Étiquetage des composantes connexes Watershed modifié dans lespace couleur : croissance des régions

13 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatiale couleur. Approche morphologique « Watershed » Watershed classique sur le gradient Watershed adaptatif sur la luminance

14 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatiale couleur. Watershed Couleur vs. Luminance Couleur Luminance NBR_RégC=NBR_RégLDifférence est dans la forme!

15 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatiale couleur. Fusion basée couleur arrêt Nombre initial de régions 657 Critère

16 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation spatiale couleur. Résultats.

17 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Estimation du mouvement Modèles : affines du 1er ordre (6 ou 4 paramètres) R t t =(tx,ty,,k) T t =(a0,b0,a b a b ) T Méthodes d estimation : - différentielles (1er, 2nd ordre) - estimation du flot optique + estimation paramétrique au sens des MC

18 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Estimation du mouvement basée région(I) -> min Méthode : descente de gradient gain adaptatif Critère à optimiser :

19 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Estimation du mouvement basée région(II)

20 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(I) Approche basée sur - test des hypothèses statistiques; - mesure de la qualité de compensation du mouvement H0 : R 1, R 2 font partie d une même région R 0 = R 1 Ú R 2 H1: R 1, R 2 sont des régions distinctes Test des hypothèses statistiques ( maximum de vraisemblance):

21 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(2) Expression des hypothèses statistiques - soit lerreur de compensation du mouvement - soit - variables statistiques indépendantes distribuées selon les lois gaussiennes avec la moyenne nulle et les écart-types H0 : pour chaque point de R 0 H1: pour chaque point de R 1, pour chaque point de R 2

22 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(3) Test de maximum de vraisemblance - soit les fonctions de vraisemblance associées à chacune des hypothèses H0 et H1 alors décision D0 (lhypothèse H0) est prise décision D1 (lhypothèse H1) est prise sous lhypothèse de la distribution connue à chaque point (x,y) dune région R, la fonction de vraisemblance peut être exprimée comme

23 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(5) Fonctions de vraisemblance : Ici N est le nombre de pixels dans la région R La variance inconnue est estimée à posteriori comme Finalement

24 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(6) Choix du seuil de la décision : - risque à prendre la décision Di Ici est la probabilité à posteriori de lhypothèse Hj sachant les mesures c ij - sont les coûts de la prise de décision Di si lhypothèse Hj est vérifiée La décision à risque minimal doit être prise

25 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(6) Daprès le théorème de Bayes Alors (*) Si cette inégalité est satisfaite alors la décision D0 doit être prise, sinon – D1. Ici P0(P1 respectivement) est la probabilité des de lhypothèse H0 (H1) respectivement. Daprès (*)

26 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(7) Posons c 10 =c 01 =1 et c 00 =c 11 =0 Par ailleurs Alors pour tout point dans la région R0 La valeur correspond à la solution équiprobable. Si grandit, alors P 0 tend vers 1

27 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion des régions au sens du mouvement(8) Mesures de qualité : - basées DFD; - basées DFD normalisée et Règle de fusion:

28 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Fusion hiérarchique des régions au sens du mouvement(9) Cartes de la segmentation emboîtées l=0 - spatiale l=1... l=L

29 Laboratoire Bordelais de Recherche en Informatique 23/02/ Eléménts du suivi des segmentations spatio- temporelles Suivi avec la prédiction en avant Extraction de lordre de la profondeur Projection de la segmentation t t+1 Ajustement des bords des régions Traitement doccultations Re- estimation du mvt Découpage des régions Fusion des régions S t, I t, I t-1, I t+1 S t+1 Problème : connaissant la segmentation S t et le couple des images I t, I t+1 fabriquer la segmentation S t+1

30 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Prédiction des segmentations(I) Prédiction court-terme - prédiction « statique » t R1 R2 t+1 - prédiction au sens du mouvement R1 R2 S t+1/t = S t S t+1/t =F( S t, t )

31 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Prédiction des segmentations(II) Prédiction au sens du mouvement des régions polygonaux t R1 R2 - pour tout sommet polygonal P(R) ? t+1 Formation dune zone doccultation ? t+1 ou

32 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Zones de découvrement Image d origine Image prédite avec la segmentation prédite Après traitement des occultations Les zone de recouvrement – source de connaissance sur la composition des scènes Approche : les segmenter dans limage It+1(ex. croissance des régions) - les représenter par le modèle de luminance/couleur (ex. valeur moyenne)

33 Laboratoire Bordelais de Recherche en Informatique 23/02/ Extraction des informations de la composition des scènes MPEG4:2D and 3D scenes may be composed and overlapped on the screen using Layer2D and Layer3D nodes ; Extraction des informations « 2D et 1/2 » : depth from motion - l ordre de la profondeur

34 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Extraction des informations de la composition des scènes Principe dextraction de lordre de la profondeur : - lanalyse de la qualité de la compensation du mouvement localement dans des zones doccultation; - propagation des informations locales de façon optimale globalement t R1 R2 t+1 ?

35 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Extraction des informations de la composition. Ordre de la profondeur Extraction de la profondeur locale Mode intra-image: - Calcul des EQMs de compensation du mouvement EQMs obtenues dans la zone recouverte « confiance » intra image est un seuil devant derrière INCONNU - Décision avec la classe de rejet

36 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Ordre de la profondeur(II) -Introduction d un filtrage temporel de la valeur de confiance - Introduction d une règle de décision à hystérésis

37 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Ordre de la profondeur(III) Profondeur relative dans le couple Bateau-fond

38 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Ordre de la profondeur(IV) - Construction des chemins optimaux R* {R}-R* (Dijkstra) - GAR est un graphe pondéré : w ij RiRi RjRj = Affectation de la profondeur globale : parcours optimal du GAR Affectation basée DijkstraAffectation basée BFS Parcours optimal vs parcours arbitraire t...

39 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Utilisation correcte de la profondeur Suivi des segmentations spatio-temporelles (II)

40 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Suivi des segmentations spatio-temporelles (III) Exemple artificiel : la profondeur relative erronée

41 23/02/ Suivi des scènes génériques(II)


Télécharger ppt "Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le chapitrage des documents audio-visuels numériques Objectifs."

Présentations similaires


Annonces Google