P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de mouvement et segmentation Patrice BRAULT IEF, Institut.

Présentation au sujet: "P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de mouvement et segmentation Patrice BRAULT IEF, Institut."— Transcription de la présentation:

1 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de mouvement et segmentation Patrice BRAULT IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622, Département ACCIS, Paris-Sud University, 91405 Orsay, FRANCE. patrice.brault@ief.u-psud.fr http://braultp.free.fr Partie I : Estimation de mouvement par ondelettes spatio-temporelles adaptées (IEF) Partie II : Segmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes (LSS) G P i

2 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 2 •Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles. 1.Etat de l'art : Compression vidéo, EM. 2.Construction d'ondelettes continues adaptées au mouvement. Transformation associée. 3.Application à deux séquences. 4.Performances comparées avec le calcul rapide du flot optique [C. Bernard, S. Mallat] 5.Conclusion et perspectives. •Partie II : Segmentation d’image et de séquence 1.Modèle de markov caché et segmentation bayésienne dans le domaine des pixels 2.Segmentation incrémentale d’une séquence vidéo 3.Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2. 4.Conclusion et perspectives Plan: Partie I

3 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 3 Compression et estimation de mouvement (EM). 1/2 •Mise en correspondance de blocs (Block Matching) Séquence Stefan Codeur hybride orienté objet 1. Partitionnement en macroblocs (MB) 16x16 2. Codage temporel : redondance temporelle Mise en correspondance de blocs (BM, block- matching) 3. Codage spatial : redondance spatiale DCT sur les MB compensés en mvt. •Deux familles de codeurs (ou compression) : hybrides (MPEG, H264) et 2D+T Sprite : compression forte MV (VM Motion Vector) VO : Video Object ( compression faible) MPEG4 : hybride, o.o. (orienté objet)

4 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 4 Compression et estimation de mouvement. 2/2 •Approches actuelles par transformées en ondelettes (TO; WT) 1.Filtrage post-CM (compensation de mvt) avec des ondelettes de Haar (motion-threading). [J.Vieron, C.Guillemot, S.Pateux; TEMICS/IRISA] 1.Compression 2D+T avec CM (compensation de mouvement) et lifting. [J.W.Woods]. 2.Calcul rapide de flot optique par projection et résolution des équations du flot sur une base d'ondelettes orthogonales. Complexité =O(N). [C.Bernard, S.Mallat] •Approche de l'EM choisie Filtrage par TO continue spatio-temporelle adaptée au mvt (MTST-CWT) [origine : ondelettes DDM, galiléennes, 2D-CWT : M.Duval-Destin, JP.Antoine, R.Murenzi, F.Mujica, JP.Leduc, JR. Corbett, M.Kong] But : - EM par quantification des paramètres de mouvement - détection d'objet par le mouvement (vitesse), la position, l'orientation, l'échelle. ) "steerable filters" [Freeman, Adelson], [Perona,Simoncelli]. (* - projection de l'eqn du flot optique (problème mal posé) sur une base d'ondelettes orthogonales. - résolution en faisant l'hypothèse de séparation d'échelles : v = cte sur les 4 ondelettes de la base.

5 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 5 Détection des vitesses par analyse spectrale  Séquence "rectangles en translation uniforme" FFT3D ) Détection des 3 vitesses horizontales (1, 3 et 10 pix/fr) et des 2 vitesses verticales (1 et 3pix/fr) FFT3D 0 3 vitesses horizontales : 1, 3, 10 pix/fr. 3 1 10 1 3 1 3 2 vitesses verticales : 1, 3 pix/fr. 1 3 0

6 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 6 Analyse du mouvement par ondelettes : propriétés Toute transformation subie par un signal peut être détectée par une ondelette adaptée à cette transformation • Propriété 1 : Dans l'intégrale de convolution exprimant la TO, la transformation A subie par un signal peut être transférée à l’ondelette. • Propriété 2 : en 2D +T, le spectre d’un objet en mouvement est décalé dans un plan - se rapprochant du vecteur d’onde temporel pour des vitesses positives - Proportionnellement au module de la vitesse.

7 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 7 Groupe de transformations • Les transformations suivantes sont applicables à une ondelette spatio-temporelle [M. Duval-Destin, A. Grossman, R. Murenzi 93], [Leduc,Mujica, Murenzi, Smith 00], [J.P. Antoine, R. Murenzi, P. Vandergheynst, S.T.Ali 04]. 1. Translation spatio-temporelle : choix intra et inter-trames de l'analyse 3. Rotation spatiale • Représentations spectrales sur le support quasi-sphérique de l'ondelette de Morlet = gaussienne 3D dans Fourier 4. Adaptation à la vitesse (représentée selon Ox) C=1 kt=kt= kxkx kyky C=4 C=1/8 C=1 C=4 C=1/8 C=1 2. Changement d'échelle spatio-temporel C >1 C < 1

8 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 8 Transformations appliquées à l’ondelette de Morlet • Ondelette de Morlet 2D+T dans le domaine direct. • Version dans le domaine de Fourier : • FFT à enveloppe sphérique en 3D • Difficulté : se représenter les nouveaux opérateurs par rapport à la TO continue classique, et comment en réaliser le codage ? • Comment appliquer les opérateurs de transformation dans la relation de Morlet ?

9 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 9 Sélectivité, séparabilité et choix particuliers •Paramètre de sélectivité. •On cherche à renforcer l'anisotropie de l' ondelette de Morlet, au moyen de sa variance •Relation finale de la MTSTWT dans le domaine de Fourier avec des ondelettes séparables Domaine spectral pour kx : Bloc de n trames •Choix particuliers : - Choix de l'ondelette de Morlet : complexe, anisotrope, compacité temps/fréquence, mais oscillante. ) Cauchy [Antoine et al. 99] - Algorithme rapide "a trous" [Shensa] mais relation de double échelle car AMR. - Possibilité dans l'espace direct : velocity-tuned filters (mono-échelle) [Burns, Rogers ].

10 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 05 10 Pseudo-code de la MTST-CWT  FFT 3D séquence s(x,t)  Relation spectrale de chaque ondelette  choix de  choix de l'anisotropie   Création de 3 vecteurs "vecteur d'onde", kx, ky et kt, pour toutes les positions  boucle échelle a  boucle rotation   boucle vitesse c  Produits, selon  IFFT pour la trame considérée  fin boucle c  fin boucle   fin boucle a  Analyse dans le domaine direct par affichage selon les paramètres choisis. Ex :

11 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 11 MTSTWT adaptée à la vitesse sur deux séquences  MTSTWT spectrale sur la séquence 2D "tennis" : 360  240  30 frames, 8 bits. Affichage =6ms/trame Résultat : détection des différentes vitesse (balle, bord de table en zoom arrière) 10ms/trame Bleu Rouge Vert Position x Vitesse (pix/fr) Position x  MTSTWT spectrale sur séquence de 3 gaussiennes 1D en déplacement (256 x 64fr). Bleu 1.4:1.08 pix/fr Rouge v = +1pix/fr Vert -1 pix/fr

12 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 12 Résultats et comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat] Vitesse de calcul (Calculs effectués sur un Xeon bi-processeur à 2.4gHz).  MTSTWT (spectrale) avec 3 ondelettes adaptées à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc (360  240) de 8 trames (séquence Tennis ) et à la plus haute résolution : T MTSTWT (1200ms) + 3x FFT3D inverses ( 3x380ms) = 2.4s  Flot optique rapide* (ondelettes, [C.Bernard]) entre deux trames de la même séquence et pour 4 résolutions différentes : T F = 10 s.

13 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 13 Conclusion à l'EM fondée sur la MTSTWT  Contribution personnelle : •Choix d'une transformée en ondelettes continue adaptée au mouvement •Codage de cette transformée et analyse de séquences vidéo [1,2] •Comparaison des vitesses de calcul avec le calcul rapide du flot optique [C. Bernard] •Présentation d'un schéma d'EM basé sur l'identification de la trajectoire des objets [3] (et manuscrit) pour une compression contextuelle de la scène. •Propositions d' améliorations de transformée adaptée au mouvement [4].  Perspectives: Compression basée EM multirésolution et robuste ( projet de partenariat avec le LSS, déposé au CNRS)  Publications : 1.- [Brault P.], WSEAS Transactions on Mathematics, 2003. 2.- [Brault P. and Vasiliu M.], WSEAS Transactions on Communications, 2003. 3.- [Brault P.], IEEE- ISSPIT, Darmstadt, dec. 2003. 4.- [Brault P.], WSEAS Transactions on Electronics, 2004.

14 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 14 •Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles. 1.Etat de l'art : Compression vidéo, EM. 2.Construction d'ondelettes continues adaptées au mouvement. Transformation associée. 3.Application à deux séquences. 4.Performances comparées avec le calcul rapide du flot optique [C. Bernard, S. Mallat] 5.Conclusion et perspectives. •Partie II : Segmentation d’image et de séquence 1.Modèle de markov caché et segmentation bayésienne dans le domaine des pixels 2.Segmentation incrémentale d’une séquence vidéo 3.Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2. 4.Conclusion et perspectives Plan: Partie II

15 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 15 Approche bayésienne de la segmentation non-supervisée (BPMS Bayesian Potts-Markov segmentation) = + • 1ère hypothèse : • 2ème hypothèse : • homogénéité des classes • Modèle markovien sur z(r) avec voisinage d’ordre 1 • Variable discrète z(r) : Modèle de Potts-Markov  / taille segments • Variable cachée z(r) ) 2 fonctions/pixel : [f(r)=luminance] et [z(r)= étiquette de classe] 1 2 3

16 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 16 A posteriori, estimation et approximation par MCMC •Segmentation non-supervisée : Estimer les paramètres des lois a priori •3ème hypothèse : hyperparamètres loi conjuguées [Snoussi, Djafari, Feron] •Règle de Bayes : lois a priori loi a posteriori •Choix : Méthode de type Markov Chain Monte-Carlo (MCMC) permet d'explorer la loi a posteriori par calcul d'un grand nombre d'échantillons ) nécessité d'un échantillonneur pseudo-aléatoire. Hyper-hyperparamètres •Estimateurs de la loi a posteriori : maximum a posteriori (MAP), moyenne a posteriori (PM) - MAP : Optimisation Solution explicite (gaussienne), gradient (loi unimodale), Recuit (loi multimodale) - PM : Intégration p(g) Approximation de Laplace (cas unimodal) ou MCMC 4

17 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 17 Echantillonnage et MCMC •Génération de N échantillons •Estimateur de la loi, et des paramètres, calculé sur des valeurs significatives après un "temps de chauffe" de L échantillons : •Moyenne a posteriori (PM) pour les variables, ou paramètres, continus •Mode de l'histogramme pour les variables discrètes •Initialisation aléatoire puis échantillonneur de Gibbs. n itérations pour chaque site(*) r(i,j). (*) Echantillonnage "en parallèle" avec deux ss- ensembles de sites indépendants. •Coût de segmentation / K classes •Initialisation aléatoire ) innovations

18 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 18 Segmentation bayésienne de séquences et E.M. 2) Segmentation avecinitialisation : K=4, itermax(tr1)=20, itermax(tr2:tr6) =6 5) - Calcul du VM (vecteur mouvement) sur le "centre de masse" de l’objet. 3) - Sélection d'une région par sa classe - Masse (nbre de pixels de région), critère de reconnaissance •2 ème apport : Calcul du vecteur mouvement pour une région : "region-matching" 1) Séquence originale 320  240  6 3) Itérations entre 2 trames 1 et 2 : convergence atteinte à la 4ème itération tr2 tr1 tr2 tr6 tr1 •1 er apport : Segmentation incrémentale (utilisant la corrélation entre trames) par la méthode BPMS (domaine direct) : ) L'initialisation n'est plus aléatoire

19 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 19 Segmentation dans le domaine des coefficients d’ondelettes Histo. de l’image originale et des coeffs. d’échelle a J Histo. des coeffs d’ondelettes d j : 2 gaussiennes K=2 classes Log/log •Décomposition multirésolution •Classification en 2 classes : K=2, des coefficients d’ondelette. OWT 2 échelles Image originale •Transformée orthogonale (OWT) et propriétés statistiques des coefficients d’ondelettes

20 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 20 Nouveau modèle du champ de Potts pour une TO orthogonale • 3ème apport : on introduit une nouvelle expression du champ de Potts- Markov (PMRF) pour s'adapter à l'orientation privilégiée des ss-bandes diagonales. • Le nouveau champ utilise une combinaison des voisinages d'ordre 1 et d'ordre 2 Echantillonnage aussi réalisé "en parallèle" avec deux ss-ensembles différents

21 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 21 Algorithme de segmentation dans le domaine ondelettes (2/2) j=J j=J-1 j=0 2. Segmentation incrémentale dans le domaine ondelettes 3. Filtrage 4. Reconstruction et reclassification (K=6) 1. OWT Image satellite bruitée

22 P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 22 Performances de la segmentation WBPMS a) Mosaïque 1024x1024, 8bits Segmentation de toutes les sous-bandes a J /d j •1) Image test : mosaïque homogène texmos1024 bruitée •2) Exemple : Segmentation de la mosaïque de test sur J= 2 niveaux •3) Performances comparées de la segmentation WBPMS c) Histogramme Reclassification et segmentation finale Segmentation a J Décomposition sur J=2 niveaux Histogramme bruité après reconstruction

23 P.Brault Estimation de mouvement et segmentation IEF 29 nov. 2005 23 •Contribution personnelle •Application d'une méthode de segmentation bayesienne de manière "incrémentale" conduisant à une accélération de la segmentation de séquences. •EM : block-matching "region-matching" •Adaptation de la méthode initiale pour sa projection dans le domaine des ondelettes orthogonales, conduisant à une accélération de la vitesse de traitement. •Perspectives : •EM par region-matching et construction de trajectoires des objets segmentés. •Segmentation et EM basée région, avec multirésolution. • Publications : 1.- [Brault and Djafari.], WSEAS Transactions on Mathematics, 2005. 2.- [Brault and Djafari], MaxEnt05-AIP, Darmstadt, 2005. 3.- [Brault and Djafari], Colloque Bouyssy (sans actes), 2005. 4.- [Brault and Djafari], Journal of Electronic Imaging, 2005. Conclusion et perspectives partie II

24 P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 24 FIN