5’. Extraction d’objets pour le chapitrage des documents audio-visuels numériques Objectifs : extraire les objets des séquences vidéo et indexer le contenu par objets Après l’extraction : calculer les descripteurs de la forme, de la texture, de la couleur. Pb. d’extraction est le plus complexe ! Dans notre cours : uniquement les méthodes dites “coopératives” – basées régions seront proposées. 26/03/2017

Sommaire 1. Introduction 2. Construction de la segmentation spatio-temporelle - “objet” 3. Eléments du suivi des segmentations spatio-temporelles 4. Extraction des informations de la composition des scènes 26/03/2017

1. Introduction MPEG1, 2 MPEG4,7 Blocs VOs 26/03/2017

2. Construction de la segmentation spatio-temporelle - “objet” Modes: - « manuel » - rotoscoping (pratiques de pp. vidéo) - semi-automatique (IRISA, IRCCyN, UPC, I3S, plate-forme OSIAM, plate-forme MoMuSys et al., « blue screenning ») - automatique (IRISA, IRCCyN, UPC, Univ. de Tel- Aviv, Univ. de Hannover …) 26/03/2017

Segmentation spatio-temporelle semi - automatique(I) Segmentation spatiale Estimation du mouvement Interaction de l ’utilisateur IRISA/TEMIC 26/03/2017

Segmentation spatio-temporelle semi - automatique (II) spatiale Estimation du mouvement Fusion basée mouvement Interaction de l ’utilisateur 26/03/2017

Approche à l ’interaction minimale Superposition de la segmentation spatiale et la classification des régions Estimation du mouvement et fusion intra-classe Affectation inter-classe si possible 26/03/2017

Segmentation spatio-temporelle automatique Pour les scènes génériques la segmentation purement automatique reste un défi! SST MDL (optimisé par rapport au codage) IRISA/TEMIC S. Pateux, C. Labit SST coopérative IRCCyN J. Benois,F. Morier, D. Barba 26/03/2017

Segmentation spatio-temporelle automatique(II) IRCCyN/ISA/IVC F.Morier, J. Benois, D. Barba fusion ascendante basée sur les mesures de la qualité de compensation du mouvement IRISA/ Vista P. Bouthemy, M. Gelgon étiquetage stochastique du GAR (Champs de Markov) 26/03/2017

Segmentation spatio-temporelle Deux phases : - la segmentation spatiale : approches morphologique, texturelle (markovienne), MDL, pyramides de luminance… - prise en compte du mouvement : estimation paramétrique, fusion 26/03/2017

Segmentation couleur morphologique (1)Calcul du gradient morphologique sur la luminance (Y) pour obtenir les contours des objets où 26/03/2017

Segmentation Watershed modifié Image comme surface topographique |G(x)| A chaque région connexe est associée un bassin A chaque barrière de gradient est associée un barrage x C(x) Étiquetage des composantes connexes Watershed modifié dans l’espace couleur : croissance des régions x 26/03/2017

Segmentation spatiale couleur. Approche morphologique « Watershed » Watershed classique sur le gradient Watershed adaptatif sur la luminance 26/03/2017

Segmentation spatiale couleur. Watershed Couleur vs. Luminance NBR_RégC=NBR_RégL Différence est dans la forme! 26/03/2017

Segmentation spatiale couleur. Fusion basée couleur Critère Nombre initial de régions 657 574 539 506 470 444 arrêt 425 398 26/03/2017

Segmentation spatiale couleur. Résultats. 26/03/2017

Estimation du mouvement Modèles : affines du 1er ordre (6 ou 4 paramètres) Rt<=> q4t=(tx,ty,f,k)T q6t=(a0,b0,a1,b1,a2,b2)T Méthodes d ’estimation : - différentielles (1er, 2nd ordre) - estimation du flot optique + estimation paramétrique au sens des MC 26/03/2017

Estimation du mouvement basée région(I) Critère à optimiser : -> min Méthode : descente de gradient gain adaptatif 26/03/2017

Estimation du mouvement basée région(II) 26/03/2017

Fusion des régions au sens du mouvement(I) Approche basée sur - test des hypothèses statistiques; - mesure de la qualité de compensation du mouvement Test des hypothèses statistiques ( maximum de vraisemblance): H0 : R1, R2 font partie d ’une même région R0 = R1Ú R2 H1: R1, R2 sont des régions distinctes 26/03/2017

Fusion des régions au sens du mouvement(2) Expression des hypothèses statistiques - soit l’erreur de compensation du mouvement - soit - variables statistiques indépendantes distribuées selon les lois gaussiennes avec la moyenne nulle et les écart-types H0 : pour chaque point de R0 H1: pour chaque point de R1, pour chaque point de R2 26/03/2017

Fusion des régions au sens du mouvement(3) Test de maximum de vraisemblance - soit les fonctions de vraisemblance associées à chacune des hypothèses H0 et H1 alors décision D0 (l’hypothèse H0) est prise décision D1 (l’hypothèse H1) est prise sous l’hypothèse de la distribution connue à chaque point (x,y) d’une région R, la fonction de vraisemblance peut être exprimée comme 26/03/2017

Fusion des régions au sens du mouvement(5) Fonctions de vraisemblance : Ici N est le nombre de pixels dans la région R La variance inconnue est estimée à posteriori comme Finalement 26/03/2017

Fusion des régions au sens du mouvement(6) Choix du seuil de la décision : - risque à prendre la décision Di Ici est la probabilité à posteriori de l’hypothèse Hj sachant les mesures cij - sont les coûts de la prise de décision Di si l’hypothèse Hj est vérifiée La décision à risque minimal doit être prise 26/03/2017

Fusion des régions au sens du mouvement(6) D’après le théorème de Bayes Alors (*) Si cette inégalité est satisfaite alors la décision D0 doit être prise, sinon – D1. Ici P0(P1 respectivement) est la probabilité des de l’hypothèse H0 (H1) respectivement. D’après (*) 26/03/2017

Fusion des régions au sens du mouvement(7) Posons c10=c01=1 et c00=c11=0 Par ailleurs Alors pour tout point dans la région R0 La valeur correspond à la solution équiprobable. Si grandit, alors P0 tend vers 1 26/03/2017

Fusion des régions au sens du mouvement(8) Mesures de qualité : - basées DFD; - basées DFD normalisée Règle de fusion: et 26/03/2017

Fusion hiérarchique des régions au sens du mouvement(9) Cartes de la segmentation emboîtées l=0 - spatiale l=1 l=L ... 26/03/2017

3. Eléménts du suivi des segmentations spatio-temporelles Problème : connaissant la segmentation St et le couple des images It, It+1 fabriquer la segmentation St+1 Suivi avec la prédiction en avant St, It, It-1, It+1 Projection de la segmentation tt+1 Ajustement des bords des régions Traitement d’occultations Extraction de l’ordre de la profondeur St+1 Fusion des régions Découpage des régions Re-estimation du mvt 26/03/2017

Prédiction des segmentations(I) Prédiction court-terme - prédiction « statique » St+1/t= St R1 R2 R1 R2 t+1 t - prédiction au sens du mouvement St+1/t=F( St,Qt) 26/03/2017

Prédiction des segmentations(II) Prédiction au sens du mouvement des régions polygonaux - pour tout sommet polygonal P(R) Formation d’une zone d’occultation R1 R2 ? ? t t+1 t+1 ou 26/03/2017

Zones de découvrement Approche : les segmenter dans l’image It+1(ex. croissance des régions) - les représenter par le modèle de luminance/couleur (ex. valeur moyenne) Image d ’origine Image prédite avec la segmentation prédite Après traitement des occultations Les zone de recouvrement – source de connaissance sur la composition des scènes 26/03/2017

4. Extraction des informations de la composition des scènes MPEG4:”2D and 3D scenes may be composed and overlapped on the screen using Layer2D and Layer3D nodes ;” Extraction des informations « 2D et 1/2 » : depth from motion - l ’ordre de la profondeur 26/03/2017

Extraction des informations de la composition des scènes Principe d’extraction de l’ordre de la profondeur : - l’analyse de la qualité de la compensation du mouvement localement dans des zones d’occultation; - propagation des informations locales de façon optimale globalement R1 R2 ? t+1 t 26/03/2017

Extraction des informations de la composition. Ordre de la profondeur Extraction de la profondeur locale Mode intra-image: - Calcul des EQMs de compensation du mouvement EQMs obtenues dans la zone recouverte « confiance » intra image - Décision avec la classe de rejet devant derrière INCONNU  est un seuil 26/03/2017

Ordre de la profondeur(II) -Introduction d ’un filtrage temporel de la valeur de confiance - Introduction d ’une règle de décision à hystérésis 26/03/2017

Ordre de la profondeur(III) Profondeur relative dans le couple “Bateau-fond” 26/03/2017

Ordre de la profondeur(IV) Affectation de la profondeur globale : parcours optimal du GAR - GAR est un graphe pondéré : Ri = wij - Construction des chemins optimaux R* {R}-R* (Dijkstra) Rj Parcours optimal vs parcours arbitraire ... t 26/03/2017 Affectation basée Dijkstra Affectation basée BFS

Suivi des segmentations spatio-temporelles (II) Utilisation correcte de la profondeur 26/03/2017

Suivi des segmentations spatio-temporelles (III) Exemple artificiel : la profondeur relative erronée 26/03/2017

Suivi des scènes génériques(II) 26/03/201715.10.2006