Laboratoire Bordelais de Recherche en Informatique 23/02/ Caractérisation du mouvement et méthodes par comparaison du mouvement - Présument une estimation du mouvement global dans le plan-image - Méthodes par comparaison du mouvement et des mesures liées au codage - Caractérisation du mouvement de la caméra - Approches par projections (transformées)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Méthodes « par comparaison du mouvement » Hypothèse : les frontières des segments temporels correspondent au ruptures des modèles du mouvement. Souvent les méthodes opèrent dans le domaine compressé (MPEG1,2) et utilisent les informations du mouvement disponibles ( flot optique macrobloc)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Segmentation temporelle basée sur le flot optique MPEG Larchitecture des standards MPEG1,2 Types dimages I - intracoded (pas de compensation du mouvement) P - compensation de mouvement avec lestimation B – compensation bi-directionnelle sans estimation I, P - anchor frames

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Larchitecture des standards MPEG1,2(2) Deux types de macroblocs dans les images P -inter-coded : - image et erreur codées- décodées -intra-coded : Codage du signal (image, erreur) : DCT, quantification, codage entropique

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Larchitecture des standards MPEG1,2(3) Deux possibilités pour macroblocs dans les images B inter-coded : passée (d1), futur(d2), bi- directionnel (d1+d2)/2– intra-coded : DCT I ref1 IB I ref2 d1 d2

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Détection des changements des plans par lanalyse du débit ( T. Sencar, G. Bozdagi) Nombre de bits Numéro de limage

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Principe : laugmentation du débit de codage des images P ou B signifie - une mauvaise compensation du mouvement (par conséquent laugmentation du débit de codage de lerreur de compensation) - codage de plusieurs macroblocs en mode « intra » Les raisons pour cela : un éventuel changement des scènes – « cut ». Défauts : très pauvres performances dans le cas des effets de transition lents. Détection des changements des plans par lanalyse du débit ( T. Sencar, G. Bozdagi99)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement de plans par analyse du mouvement (Léonardi, Migliorati2002) Lamplitude moyenne des vecteurs de déplacement Nombre de macro-blocs codés en « intra » dans k-ème image P Comparaison avec un seuil - utilisation des images P uniquement

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement de plans et Caractérisation du mouvement de la caméra -utilisation du nombre des blocs codés en « intra » -prise en compte de la qualité destimation du modèle global - choix dimage représentative (key-frame) par le test des hypothèses quant à la signification des paramètres du mouvement -utilisation des images P uniquement -estimation du modèle global du mouvement dominant – modèle de caméra

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Estimation robuste du mouvment à partir du flot optique macrobloc au sens des moindres carrés Le modèle du mouvement global est supposé - vecteur de déplacement dun macrobloc - coordonnées du centre du macrobloc par rapport au centre de limage

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Formulation au sens des moindres carrées - équation du modèle - vecteur de mesures (2N) - matrice dobservation (2Nx6) - vecteur des paramètres du modèle à estimer - bruit dobservation

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Solution par la méthode des moindres carrés pondérés. - solution au sens des moindres carrés pondérés - matrice des poids - vecteur des mesures estimées - erreur résiduelle

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Résultats de lestimation amodel: , , , , mse 1 : mse 2 : C = Le mouvement de rotation et de transaltion. (LHomme de Tautavel)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement des plans (1) Caractéristiques du changement de plan -laugmentation du nombre des blocs –intra (Q) -lerreur destimation du modèle globale augmente (MSE) -les paramètres du mouvement de la caméra sont changés (a) a n (k) =|a n (k) – a n (k-1)|, n=1,…6 Fonction-mélange avec

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection du changement des plans (2) Exemple du comportément

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des maxima de la fonction - mélange Detection off-line 1) Detection du maximum global pour lensemble du fragment vidéo traité 2) Hypothèse de la distribution gaussienne des mesures D à lintérieur dun plan 3) Test des outliers positifs par rapport à la distribution courante 4) Confirmation par le rapport de forces

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des maxima de la fonction - mélange Detection off-line 1) Après avoir détécté le Max global on calcule les paramètres de la distribution gaussienne sur lintervalle [i max +1, i max +L] : 2) Définition du seuil de rejet : 3) Indice i est retenu comme la frontière du plan si et 4) Max global <-Max courant et recommencer 1)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Detection des changement des plans sur les images I P. Kraemer, J.Benois, J._Ph. Domenger,2004 Principe : -Décodage des images intra-codées du flux compressé à fable résolution (DC), -retro-projection des pixels conformes au model du mvt global DC n+k -> DC n -calcul de la mesure de similarité et décision sur le changement

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Exemple de rupture du contenu Avec coupure :

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Effets daliasing : Mesures habituelles sont inefficaces Nouvelle mesure de similarité Mesure de Similarité

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Mesure de similarité des images I Erreur quadratique pondérée par le contraste local :

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Mesure de Similarité des images I Fonction de pondération w Non pondérée Pondérée t=12.75

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Performances. TREC VIDEO 2004 : Tâche Changement des plans Tests grandeur réelle 80 heures de la vidéo = frames TV ABC et CNN 9/19 participants Temps de calcul 4/19 L. Primaux, J. Benois, 2004

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation et segmentation du mouvement Problème : qualifier le mouvement de la caméra et segmenter en micro-plans 1. Reformulation du modèle du mouvement affine complet du 1 er ordre 2. Estimation du modèle simplifié (4 paramètres) PTZ

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Tests des hypothèses statistiques sur la signification des paramètres du mouvement H0 : le paramètre considéré a i est significatif H1 : a i =0. En supposant les distributions gaussiennes des erreurs destimation r il - erreurs résiduels par rapport au modèle

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Daprès P. Bouthemy, M. Gelgon

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 La mise en œuvre sur FO MPEG2 (Durik, Benois) Caméra statique

Laboratoire Bordelais de Recherche en Informatique 23/02/ Méthodes par caractérisation globale du mouvement dans le domaine des transformées Transformées tomographiques spatio-temporelles : les images « X-ray » CERIMES ©

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation globale du mouvement de la caméra (Ph. Joly, Ph. Aigrain)(I) Principe : caractérisation du mouvement de la caméra par le géométrie des objets dans des images X-ray t1 t2 Mouvement de la caméra panoramique K=t2-t1+1 -vitesse angulaire du mouvement de la caméra -la focale -position horizontale/verticale sur lécran Tous les traces de pixels ont le même angle

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Exemples Plan statique Iy

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Caractérisation globale du mouvement de la caméra(II) Zoom – in / out -vitesse du changement de la focale -la focale -dans le cas du panoramique et zoom le déplacement sur lécran ne dépend pas de la distance de lobjet par rapport à lécran K=t2-t1+1 Toutes les traces des pixels à la même position on le même angle

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 Performances Lapproche typiquement « offline » - nécessite le cumul de la vidéo -Impossible de détecter les micro-plans courts ( sensibilité de la transformée de Hough) -Difficultés dans le cas des objets en mouvement, des effets de transition