Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une.

Présentation au sujet: "Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une."— Transcription de la présentation:

1 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2. Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une estimation du mouvement global dans le plan-image - Méthodes par comparaison du mouvement et des mesures liées au codage - Caractérisation du mouvement de la caméra - Approches par projections (transformées)

2 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Méthodes « par comparaison du mouvement » Hypothèse : les frontières des segments temporels correspondent au ruptures des modèles du mouvement. Souvent les méthodes opèrent dans le domaine compressé (MPEG1,2) et utilisent les informations du mouvement disponibles ( flot optique macrobloc)

3 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation temporelle basée sur le flot optique MPEG Larchitecture des standards MPEG1,2 Types dimages I - intracoded (pas de compensation du mouvement) P - compensation de mouvement avec lestimation B – compensation bi-directionnelle sans estimation I, P - anchor frames

4 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Larchitecture des standards MPEG1,2(2) Deux types de macroblocs dans les images P -inter-coded : - image et erreur codées- décodées -intra-coded : Codage du signal (image, erreur) : DCT, quantification, codage entropique

5 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Larchitecture des standards MPEG1,2(3) Deux possibilités pour macroblocs dans les images B inter-coded : passée (d1), futur(d2), bi- directionnel (d1+d2)/2– intra-coded : DCT I ref1 IB I ref2 d1 d2

6 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Détection des changements des plans par lanalyse du débit ( T. Sencar, G. Bozdagi) Nombre de bits Numéro de limage

7 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Principe : laugmentation du débit de codage des images P ou B signifie - une mauvaise compensation du mouvement (par conséquent laugmentation du débit de codage de lerreur de compensation) - codage de plusieurs macroblocs en mode « intra » Les raisons pour cela : un éventuel changement des scènes – « cut ». Défauts : très pauvres performances dans le cas des effets de transition lents. Détection des changements des plans par lanalyse du débit ( T. Sencar, G. Bozdagi99)

8 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement de plans par analyse du mouvement (Léonardi, Migliorati2002) Lamplitude moyenne des vecteurs de déplacement Nombre de macro-blocs codés en « intra » dans k-ème image P Comparaison avec un seuil - utilisation des images P uniquement

9 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement de plans et Caractérisation du mouvement de la caméra -utilisation du nombre des blocs codés en « intra » -prise en compte de la qualité destimation du modèle global - choix dimage représentative (key-frame) par le test des hypothèses quant à la signification des paramètres du mouvement -utilisation des images P uniquement -estimation du modèle global du mouvement dominant – modèle de caméra

10 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Estimation robuste du mouvment à partir du flot optique macrobloc au sens des moindres carrés Le modèle du mouvement global est supposé - vecteur de déplacement dun macrobloc - coordonnées du centre du macrobloc par rapport au centre de limage

11 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Formulation au sens des moindres carrées - équation du modèle - vecteur de mesures (2N) - matrice dobservation (2Nx6) - vecteur des paramètres du modèle à estimer - bruit dobservation

12 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Solution par la méthode des moindres carrés pondérés. - solution au sens des moindres carrés pondérés - matrice des poids - vecteur des mesures estimées - erreur résiduelle

13 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Résultats de lestimation amodel: 6.4898,-0.0089,-0.0492 5.1634,-0.0598,-0.0098 mse 1 : 21.8697 mse 2 : 12.5257 C =15.0831 Le mouvement de rotation et de transaltion. (LHomme de Tautavel)

14 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement des plans (1) Caractéristiques du changement de plan -laugmentation du nombre des blocs –intra (Q) -lerreur destimation du modèle globale augmente (MSE) -les paramètres du mouvement de la caméra sont changés (a) a n (k) =|a n (k) – a n (k-1)|, n=1,…6 Fonction-mélange avec

15 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement des plans (2) Exemple du comportément 15031428160216681767194720462112219022622049

16 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des maxima de la fonction - mélange Detection off-line 1) Detection du maximum global pour lensemble du fragment vidéo traité 2) Hypothèse de la distribution gaussienne des mesures D à lintérieur dun plan 3) Test des outliers positifs par rapport à la distribution courante 4) Confirmation par le rapport de forces

17 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des maxima de la fonction - mélange Detection off-line 1) Après avoir détécté le Max global on calcule les paramètres de la distribution gaussienne sur lintervalle [i max +1, i max +L] : 2) Définition du seuil de rejet : 3) Indice i est retenu comme la frontière du plan si et 4) Max global <-Max courant et recommencer 1)

18 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des changement des plans sur les images I P. Kraemer, J.Benois, J._Ph. Domenger,2004 Principe : -Décodage des images intra-codées du flux compressé à fable résolution (DC), -retro-projection des pixels conformes au model du mvt global DC n+k -> DC n -calcul de la mesure de similarité et décision sur le changement

19 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Exemple de rupture du contenu Avec coupure :

20 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Effets daliasing : Mesures habituelles sont inefficaces Nouvelle mesure de similarité Mesure de Similarité

21 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Mesure de similarité des images I Erreur quadratique pondérée par le contraste local :

22 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Mesure de Similarité des images I Fonction de pondération w Non pondérée Pondérée t=12.75

23 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Performances. TREC VIDEO 2004 : Tâche Changement des plans Tests grandeur réelle 80 heures de la vidéo =7.200.000 frames TV ABC et CNN 9/19 participants Temps de calcul 4/19 L. Primaux, J. Benois, 2004

24 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation et segmentation du mouvement Problème : qualifier le mouvement de la caméra et segmenter en micro-plans 1. Reformulation du modèle du mouvement affine complet du 1 er ordre 2. Estimation du modèle simplifié (4 paramètres) PTZ

25 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Tests des hypothèses statistiques sur la signification des paramètres du mouvement H0 : le paramètre considéré a i est significatif H1 : a i =0. En supposant les distributions gaussiennes des erreurs destimation r il - erreurs résiduels par rapport au modèle

26 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Daprès P. Bouthemy, M. Gelgon

27 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 La mise en œuvre sur FO MPEG2 (Durik, Benois) Caméra statique

28 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 3.2.2.Méthodes par caractérisation globale du mouvement dans le domaine des transformées Transformées tomographiques spatio-temporelles : les images « X-ray » CERIMES ©

29 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation globale du mouvement de la caméra (Ph. Joly, Ph. Aigrain)(I) Principe : caractérisation du mouvement de la caméra par le géométrie des objets dans des images X-ray t1 t2 Mouvement de la caméra panoramique K=t2-t1+1 -vitesse angulaire du mouvement de la caméra -la focale -position horizontale/verticale sur lécran Tous les traces de pixels ont le même angle

30 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Exemples Plan statique Iy

31 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation globale du mouvement de la caméra(II) Zoom – in / out -vitesse du changement de la focale -la focale -dans le cas du panoramique et zoom le déplacement sur lécran ne dépend pas de la distance de lobjet par rapport à lécran K=t2-t1+1 Toutes les traces des pixels à la même position on le même angle

32 Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Performances Lapproche typiquement « offline » - nécessite le cumul de la vidéo -Impossible de détecter les micro-plans courts ( sensibilité de la transformée de Hough) -Difficultés dans le cas des objets en mouvement, des effets de transition