P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov  stimation de mouvement et segmentation Patrice BRAULT IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622, Département ACCIS, Paris-Sud University, Orsay, FRANCE. Partie I :  stimation de mouvement par ondelettes spatio-temporelles adaptées Partie II :  egmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes G P i

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles. 1.Etat de l'art : Compression vidéo et EM. 2.Création d’ondelettes adaptées au mouvement et E.M. fondée sur des trajectoires. 3.Comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat] 4.Conclusion. Partie II : Segmentation d’image et de séquence Présentation du problème de segmentation Classification bayésienne dans le domaine des pixels. Modèle de Potts-Markov Segmentation incrémentale d’une séquence vidéo Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2. Conclusion générale Plan: Partie I

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Estimation de mouvement (EM). 1/2 Correspondance de blocs (BM, Block-Matching) Edberg Compression hybride orientée objet MPEG4 codage Spatial : a) DCT comme MPEG2. b) Segmentation object et codage échelonnable (mouvement ou "sprite"). Temporel : a) BM comme MPEG2. b) EM de n à n+1 (n'utilise que deux trames). Echelonnabilité de codage spatial, temporel et de la complexité.

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov L’estimation de mouvement (EM). 2/2 Approche classique 1.Codage spatial DCT (MPEG) ou Hadamard (H264) 2.Codage temporel (EM estimation de mouvement) par correspondance de blocs (BM, block-matching) et estimation par simples vecteurs de mouvement entre deux trames. Approches actuelles par transformées en ondelettes (TO ou WT) 1.Filtrage "post-compensation du mvt" avec des ondelettes (Haar) [Guillemot, TEMICS] 2.Compression 2D+T avec compensation mouvement et lifting [Woods] 3.Calcul rapide de flot optique par projection et résolution des équation du flot sur une base orthogonale [Bernard, Mallat] Notre approche par CWT (continuous WT) 2D+T adaptée mouvement : "MTSTWT, Motion-tuned spatio- temporal wavelet transform" 1.Quantification des paramètres de mouvement par ondelettes adaptées à des transformations étendues. 2.Schéma d' EM et prédiction fondé sur l'identification des trajectoires d' objets, calculées à partir des paramètres de mouvement et d’un modèle de trajectoire (par ex. polynome d’ordre 5...), sur plusieurs trames.

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Détection de vitesse dans le domaine spectral k_t k_x V=1 V=3 V=10 k_t k_x or y Détection dans Fourier : 3 pentes pour 3 vitesses différentes k_t k_y 3 vitesses horizontales : 1, 3, 10 pix/fr. y x 2 vitesses verticales : 1, 3 pix/fr.

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Analyse du mouvement par ondelettes : propriétés Intérêt de construire des ondelettes adaptées à diverses transformations. Propriété 1 : La transformation A -1 subie par un signal 2D peut être transférée à l’ondelette. Propriété 2 : Le spectre d’un objet en mouvement est décalé dans la direction du vecteur d’onde temporel. La valeur du décalage correspond à la vitesse v 0 de l’objet en mouvement. objet statique : objet à vitesse constante :

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Groupe de transformations Les opérateurs suivants s’appliquent à l’ondelette [M. Duval-Destin, A. Grossman, R. Murenzi 93], [Leduc,Mujica, Murenzi, Smith 00], [J.P. Antoine, R. Murenzi, P. Vandergheynst, S.T.Ali 04]. Translation spatio-temporelle Changement d’échelle spatio-temporelle Rotation spatiale Adaptation à la vitesse Représentations spectrales sur enveloppe de Morlet rotation Vitesse Chgt. d’échelle kt=kt= kxkx kyky C=4 C=1/8 C=1 C=4 C=1/8 C=1

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Transformations appliquées à l’ondelette de Morlet Ondelette de Morlet 2D+T dans le domaine spatio-temporel (direct). Ondelette spectrale adaptée aux paramètres {g} [Kronland-Martinet 88]

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Sélectivité, séparabilité et transformée spectrale finale Paramètre de sélectivité  : On cherche à renforcer l'anisotropie de l' ondelette de Morlet,, donc sa sélectivité dans une direction,. Séparabilité en trois ondelettes spectrales Relation finale de la transformée spatio-temporelle adaptée au mouvement, dans le domaine de Fourier :

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Séquence d’origine Algorithme spectral, séparable, de la MTSTWT IFFT 3D globale Convolution séparable dans Fourier : FFT 3D globale Résultat analysé dans l’espace direct Définition d’une ondelette 2D+T adaptée (Morlet ici) séparable Choix des paramètres d’analyse (famille d’ondelettes) 3 ondelettes 2 spatiales 1 temporelle

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov MTSTWT sur la séquence tennis  Séquence : 360  240  30 frames, 8 bits.  MTSTWT spectrale adaptée à la vitesse. Affichage =6ms/trame Résultat : détection des différentes vitesse (balle, bord de table en zoom arrière) 10ms/trame Détection de mvt Segmentation de mvt

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Résultats et comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat] 1) Complexité algorithmique de la MTSTWT  O( N 3 LogN ) avec N= m  n  k, la taille de la séquence.  ajouter une IFFT3D par paramètre de vitesse si l’analyse est réalisée dans le domaine direct.  Effectuer la FFT3D de la séquence avant analyse spectrale par la MTSTWT. 2) Vitesse de calcul  MTSTWT (spectrale) avec 3 ondelettes adaptées à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc 360  240  8 (séquence Tennis ) T M = 1200ms (sur un Xeon bi-processeur à 2.4gHz). En ajoutant les 3 FFT3D inverses (380ms) pour chaque vitesse, on obtient : T Mtot =2400ms, à la plus haute résolution.  Calcul du flot optique [C. Bernard] entre deux trames de la même séquence et pour 4 résolutions différentes : T F = 10 secondes (sur le même processeur Xeon).

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 10 sep Schéma d'une EM basée sur l'identification de trajectoire k Uncompressed Image sequence (space-time domain) size = m × n Energy maximization and parameters extraction Motion estimation from the computed trajectory [Incoming publication] Fast object trajectory Identification [Fliess et al.] A priori trajectory model (Spline, Polynomial) Compressed Image sequence (space-time domain) [Brault P., IEEE-ISSPIT03] MTSTWT [Duval-Destin, Murenzi, Antoine] Object segmentation : Motion or static image based segmentation Object kinematic and affine parameters.

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov Conclusion for MTSTWT and object identification in compression and scene analysis  Contribution personnelle : Utilisation d'une transformée en ondelettes redondantes 2D+T utilisant un groupe de transformations étendu pour la quantification et l'estimation du mouvement dans une séquence vidéo [1,2]. EM objet fondée sur l'identification d'une trajectoire [3].  Perspectives: améliorations de l'algorithme de la MTSTWT [4] Ondelettes adaptées à la détection d'objets (contours) et moins oscillantes que Morlet (Splines, dérivées de gaussiennes ) Calcul de la transformée dans l'espace direct (code testé) ou analyse dans l'espace de Fourier afin d'éviter les transformations du domaine direct vers spectral et réciproquement (FFT  IFFT) Réduction de la taille du noyau de convolution (longueur du filtre). Utilisation d'un algorithme de transformation continue ("Algorithme à trous") [Tchamitchian et al.]  Publications : 1.- [Brault P.], WSEAS Transactions on Mathematics, [Brault P. and Vasiliu M.], WSEAS Transactions on Communications, [Brault P.], IEEE- ISSPIT, Darmstadt, dec [Brault P.], WSEAS Transactions on Electronics, 2004.

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles. 1.Etat de l'art : Compression vidéo et EM. 2.Création d’ondelettes adaptées au mouvement et E.M. fondée sur des trajectoires. 3.Comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat] 4.Conclusion. Partie II : Segmentation d’image et de séquence 1.Modèle de markov caché et segmentation bayésienne dans le domaine des pixels 2.Segmentation incrémentale d’une séquence vidéo 3.Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2. Conclusion générale Plan: Partie II

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Approche bayésienne de la segmentation (BPMS Bayesian Potts-Markov segmentation) = + première hypothèse seconde hypothèse modélisation markovienne et voisinage d’ordre 1 champ de Potts-Markov

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov A posteriori, estimation et approximation par MCMC Paramètres des lois a priori (segmentation non-supervisée) Hyperparamètres : loi conjuguées [Snoussi,Djafari02] Distribution a posteriori (Bayes) Solution par approximation : méthode de type Markov Chain Monte-Carlo (MCMC) : Application de la loi faible des grands nombres; nécessité d'un échantillonneur pseudo-aléatoire. Hyper-hyperparamètres On recherche une solution au sens du MAP : plusieurs méthodes : Optimisation : solution explicite (gaussienne) ou gradient (loi unimodale) ou Recuit (loi multimodale) Intégration de E(g) : Approximation de Laplace (cas unimodal) ou méthodes MC ou MCMC Evidence : E(g)

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Echantillonnage, estimation MAP et MCMC Génération de N échantillons Estimateur de la loi, et des paramètres, calculé après un "temps de chauffe" de L échantillons : Moyenne a posteriori (PM) Maximum a posteriori (MAP) ou mode. Échantillonneur de Gibbs. n itérations pour chaque site r(i,j). Mise en « parallèle » par réduction à deux sous- ensembles

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Segmentation bayésienne de séquences et E.M. 1) Séquence originale 320  240  6 2) Segmentation avec K=4. iter(1)=20, iter(2:6)=6 3) Itérations entre 2 trames 1 et 2 : convergence atteinte à la 4ème itération tr2 tr1 tr2 tr6 tr1 5) Calcul du déplacement sur le centroïde de l’objet, caractérisée par sa « masse » (nbre de pixels de même classe). 4) Deux trames successives (1 et 2) On sélectionne la classe correspondant à la balle Segmentation incrémentale (utilisant la corrélation entre trames) par la méthode BPMS (domaine direct) : Segmentation de la trame (n) basée sur la segmentation de (n-1) Segmentation de la trame 1 avec un gd nombre N d'itérations. Puis N est réduit poru les suivantes. Calcul du vecteur mouvement pour une région ou un objet (masse en pixels ~ cte )

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Propriétés statistiques des coefficients d’ondelettes Histo. de l’image riginale et des coeffs. d’échelle a J Histo. des coeffs d’ondelettes d j : 2 gaussiennes (K=2 classes) Log/log Décomposition multirésolution Classification en 2 classes : K=2, des coefficients d’ondelette. OWT 2 échelles Image originale Transformée orthogonale (OWT)

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Modélisation dans le domaine des ondelettes Nouvelle expression du champ de Potts_Markov (PMRF) prenant en compte les orientations privilégiées des ss-bandes d’ondelettes : Etapes de l’algorithme : La segmentation est effectuée d’abord sur la ss-bande d’approximation a J à l’échelle la plus grande 2 J. La segmentation de la ss-bande d’ondelettes d J est initialisée par les discontinuités de la ss-bande a J. Par application de la propriété énoncée, les ss-bandes d’ondelettes sont segementées en K=2 classes. Les segmentations des ss-bandes d H,D1,D2,V (j-1) sont initialisées par les segmentation à l’échelle j précédente.

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Algorithme de segmentation dans le domaine ondelettes j=J j=J-1 j=0

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov Exemple de segmentation WBPMS Segmentation a J a) Mosaïque 1024x1024, 8bits Segmentation de toutes les sous-bandes a J /d j 1) Image test synthétique : mosaïque texmos512 +bruit 2) Exemple : Segmentation de la mosaïque de test sur J= 2 niveaux 3) Performances de la segmentation WBPMS c) Histogramme de la mosaïque bruitée Filtrage et segmentation finale Décomposition sur J=2 niveaux puis : Histogramme après reconstruction

P.Brault Estimation de mouvement et segmentation IEF 29 nov Conclusion et perspectives I) Estimation de mouvement par ondelettes spatio-temporelles Quantification du mouvement par ondelettes continues (CWT) et groupe de transformations étendu. Schéma d' estimation de trajectoires d'objets visant à une compression « contextuelle » de la scène donc plus efficace. Perspectives : EM objet, multirésolution et robuste, éventuellement associée à une segmentation bayésienne ou autre (Partie II). II) Segmentation et EM par modèle de Potts-Markov dans les domaines direct et ondelettes. Accélération de la segmentation de séquences par segementation incrémentale EM de régions, ou objets, basé sur le déplacement du centre de masse. Accélération de la segmentation image par projection dans le domaine des ondelettes orthogonales (OWT). Perspectives : EM post-segmentation fondée sur l'analyse du centre de masse et aussi la trajectographie.  Publications partie II: 1.- [Brault and Djafari.], WSEAS Transactions on Mathematics, [Brault and Djafari], MaxEnt05-AIP, Darmstadt, [Brault and Djafari], Colloque Bouyssy (sans actes), [Brault and Djafari], Journal of Electronic Imaging, 2005.