La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 De la détection de changement à lanalyse du mouvement Antoine MANZANERA – ENSTA/LEI Applications en télésurveillance.

Présentations similaires


Présentation au sujet: "1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 De la détection de changement à lanalyse du mouvement Antoine MANZANERA – ENSTA/LEI Applications en télésurveillance."— Transcription de la présentation:

1 1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 De la détection de changement à lanalyse du mouvement Antoine MANZANERA – ENSTA/LEI Applications en télésurveillance et navigation autonome

2 2 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Applications et enjeux (1) Surveillance de zone Compression et Indexation (University of Surrey)

3 3 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Applications et enjeux (2) Mouvement fluide Poursuite automatique Navigation robotique (Ecole des Mines / CMM)

4 4 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Quelle information extraire ? Niveau conceptuel Quantité dinformation structure Modèle non rigide nombre position vitesse taille forme Modèle rigide alarme Carte binaire mobile/fixe Champ de déplacement Calculs bas niveau paramètres de mise en correspondance

5 5 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Détection – Estimation – Poursuite DETECTION Certaine continuité temporelle Mouvement de la caméra nul ou très simple. Objectif : identifier dans chaque image les pixels appartenant à des objets mobiles Chapitre 1 ESTIMATION Continuité temporelle Plutôt « traiter après » Objectif : calculer le mouvement apparent (vitesse instantanée) de chaque pixel Chapitre 2 POURSUITE Discontinuité temporelle Plutôt « traiter avant » Objectif : apparier certaines structures spatiales pour chaque couple dimages. Chapitre 3

6 6 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 MOUVEMENT Détection 1 PLAN DU CHAPITRE Introduction du problème Observation & différenciation Régularisation spatiotemporelle

7 7 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Introduction du problème BUT : Associer à chaque pixel de I une étiquette binaire [fixe,mobile]… 01 …en fonction des changements temporels de I(x,y,t). Quelles variations temporelles ? Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) | Idéalement : Y = 0 pas de mvt Y > 0 mvt Y(x,y,t) = | I(x,y,t) – I ref (x,y,t) |

8 8 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Contraintes et difficultés ! CONTRAINTES (1) Camera fixe (2) Eclairement constant (1) Camera bougeant lentement (2) Variation déclairement basse fréquence ! DIFFICULTES (1) Bruits de capteur (acquisition + numérisation) (2) Zones homogènes ( luminance < ) 0 seuil > 0 (1) Camera mobile avec mouvement compensé (Cf Chap. 2) (2) Intensité lumineuse variable avec mise à léchelle de lhistogramme ou même

9 9 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Détection : méthode générique (1) Calcul du changement temporel (2) Régularisation spatiotemporelle (3) Sélection des objets On calcule, pour chaque pixel, une ou plusieurs statistiques temporelles des niveaux de gris, ainsi que lécart par rapport à ces statistiques. On agrège spatialement les résultats de changement temporel afin dobtenir des objets réguliers. On sélectionne les régions obtenues en fonction de critères morphologiques ou cinématiques. YtYt ItIt ÊtÊt EtEt

10 10 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Changement par gradient temporel Y(x,y,t) = | I(x,y,t) – I(x,y,t-1) | Ici lobservation correspond à une estimation du gradient temporel, discrétisé par une différence finie. Si Y t > S, alors Ê t = 1 sinon Ê t = 0 Avantages : simplicité de calcul grande adaptation aux variations de conditions de la scène Inconvénients : problème de louverture ItIt YtYt

11 11 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Changement par gradient temporel ItIt YtYt Problème de la détermination du seuil S Ê t (S=3)Ê t (S=9)

12 12 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation de fond statique Y(x,y,t) = | I(x,y,t) – I ref (x,y,t) | Si Y t > S, alors Ê t = 1 sinon Ê t = 0 Ici lobservation correspond à un écart entre la valeur courante et la valeur de référence de la scène (le « fond » statique). Le fond statique correspond à la valeur habituelle du fond, il est généralement calculé sous la forme dune moyenne... Moyenne arithmétique sur les n dernières images : Très coûteux car nécessite de conserver en permanence n images consécutives en mémoire... Moyenne récursive (filtre exponentiel) : Nécessite seulement la moyenne et limage courante... est le paramètre doubli, (1/ a la dimension du temps)

13 13 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Moyenne récursive Avantages : réduction drastique du problème de louverture Inconvénients : adaptation aux changements de conditions plus délicat Changement dillumination (graduel, soudain,...) Mouvements parasites Mouvements de la caméra Changement de la nature du fond Comportement de la moyenne récursive au cours du temps pour 1 pixel donné (200 trames) correspondant au passage dun objet mobile.

14 14 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Moyenne récursive ItIt YtYt MtMt YtYt MtMt = = et pour un instant t fixé.

15 15 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Moyenne récursive Pour des durées importantes, on retrouve le problème de louverture, critique pour les mouvements radiaux : Par ailleurs, la détermination du seuil demeure critique…

16 16 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation gaussienne Y(x,y,t) = | I(x,y,t) – I ref (x,y,t) | Si Y t > N.V t, alors Ê t = 1 sinon Ê t = 0 En chaque pixel, le niveau de gris est modélisé comme un signal aléatoire gaussien, quon peut entièrement caractériser par sa moyenne M t et sa variance V t. Lhypothèse gaussienne permet en outre dadapter le seuil de binarisation à un nombre moyen de fausses alarmes. Wren et al 1997

17 17 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation multi-gaussienne niveau de gris probabilité doccurence M (i) P (i) V (i) Adapté aux fonds multimodaux (rivières, écrans, drapeaux,...) Si Pour chaque pixel, on calcule K modes i {0,..,K}, qui sont partitionnés en « fond » F ou « non fond » NF. alors sinon Pour tout i {0,..,K} : Stauffer et Grimson 1999

18 18 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation Sigma-Delta Comportement de la moyenne au cours du temps pour 1 pixel donné (200 trames) correspondant au passage dun objet mobile. Si M t < I t alors M t = M t + 1; Si M t > I t alors M t = M t - 1; Si V t < K. t alors V t = V t + 1; Si V t > K. t alors V t = V t - 1; Y t = | I t – M t |; Si Y t > V t alors D t = 1; sinon D t = 0; (1) (2) (3) (4)

19 19 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation Sigma-Delta ItIt MtMt Y t =|M t – I t | V t (N = 2,normalisée) ÊtÊt

20 20 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Estimation Sigma-Delta Jeu dinstruction utile extrêmement réduit : Comparaison – Incrément – Différence Moyenne converge vers la médiane temporelle : plus robuste. Extensible aux fonds complexes en adaptant les fréquence/phase des estimateurs. Manzanera et Richefeu 2004 Système de détection à base de rétine artificielle baseé sur lestimation

21 21 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Sigma-Delta : rebouclage

22 22 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Morphologie oublieuse Comportement des opérateurs de morphologie oublieuse au cours du temps pour 1 pixel donné (200 trames) correspondant au passage dun objet mobile. m t = I t + (1- )MIN(m t-1,I t ) M t = I t + (1- )MAX(M t-1,I t ) D t = M t - m t

23 23 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Morphologie oublieuse ItIt MtMt mtmt Y t = M t – m t Le gradient morphologique oublieux Y t correspond à lestimation récursive de lamplitude de variation du niveau de gris dans les 1/ dernières trames. Cet opérateur est particulièrement adapté aux mouvements de faible amplitude (petits objets, lents). Richefeu et Manzanera 2004

24 24 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Régularisation spatiotemporelle Objectif : Exploiter les corrélations spatiales et temporelles entre pixels voisins – Obtenir des résultats plus réguliers. La régularisation spatiotemporelle utilise le résultat binaire de la détection temporelle Ê t, ainsi que la valeur de « lobservation » Y t, pour calculer une étiquette régularisée E t. FILTRAGE MORPHOLOGIQUE : Souvent, la régularisation spatiotemporelle se réduit à lapplication de filtres morphologiques binaires, qui calculent E t à partir de Ê t, éventuellement de Ê t-1, voire Ê t+1. Filtres alternés séquentiels. Filtres majoritaires. Filtres connexes. REGULARISATION MARKOVIENNE : Basée sur un modèle probabiliste, calcule E t à partir de Y t, en utilisant un algorithme de relaxation initialisé par Ê t.

25 25 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Régularisation markovienne Régularisation de problème mal posé Injection de connaissances a priori sur les données du problème Comment construire ce phénomène aléatoire ? MODELISATION Comment obtenir des réalisations de ce phénomène SIMULATION Comment obtenir la réalisation la plus probable ? OPTIMISATION 3 questions : MODELISATION PROBABILISTE La solution est la réalisation la plus probable dun certain phénomène aléatoire

26 26 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Propriétés du modèle Un champ aléatoire X sur S à valeur dans V est défini par : X : V S Notations : Pour ω X : S V réalisation dun champ aléatoire. Pour s S, X s : s V variable aléatoire au pixel s. Dans notre contexte de détection : V = {0,1} ({fixe,mobile}) S = Z 3 ou Z 2 ×N (espace-temps discret) Univers probabiliste Ens. des valeurs (niveaux de gris) Ens. des sites (pixels)

27 27 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Topologie et système de voisinage La donnée dune topologie sur S détermine les relations de dépendances entre les variables aléatoires X s Topologie sur S Système de voisinage V V : S P (S) tq, qq soit (s,r) S 2, s V (s) s V (r) r V (s) Ex: x y t 6-connexité 8-connexité spatiale 2-connexité temporelle

28 28 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Champs de Markov X : V S est un champ de Markov relativement au système de voisinage V ssi, pour tout s S, P(X s = x s / X r = x r ; r s) = P(X s = x s / X r = x r ; r V (s)) La densité de probabilité de X est une mesure de Gibbs P(X = x) = e -U(x) / Z avec Z = e –U(y), et U(x) = V c (x) C est lensemble des cliques (sous-graphes complets) de V V c (x) est une fonction dite potentiel qui ne dépend que des valeurs {x s } s c y V S c C On peut décrire un modèle de champ de Markov dans une topologie donnée en spécifiant les potentiels attachés à chaque clique. La donnée de la fonctionnelle dénergie U permet de « prévoir » le comportement du champ aléatoire puisque la réalisation est dautant plus probable que lénergie est faible. Théorème de Hammersley-Clifford J. Besag 1974

29 29 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Modèle pour la détection de mouvement s s s s f p Y U m (x) : énergie du modèle U a (y,x) : énergie dattache aux données avec (Modèle de Potts) avec

30 30 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Sémantique du modèle avec Avec: = moyenne de Y ; = variance de Y Modélisation : On suppose : et : (caractère markovien de X)(modèle de bruit liant X et Y) Lénergie du modèle exprime une hypothèse de régularité. Lénergie dadéquation assure un lien significatif entre le résultat de létiquetage et les données dentrée. Critère bayesien du Maximum A Posteriori Alors : P.Bouthémy P.Lalande 1993

31 31 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Simulation et chaînes de Markov But : une fois le modèle défini, on souhaite générer des réalisations (échantillons) de ce modèle Principe : Construire une suite de champs aléatoires (X n ) n N, telle que Pour tout x V S, lim P(X n = x) = (x) avec (x) = e -U(x) / Z n + Une suite (X n ) n est une chaîne de Markov (dordre 1) ssi : P(X n+1 = x n+1 / X i = x i ; i n) = P(X n+1 = x n+1 / X n = x n ) Pour cela, on va construire une chaîne de Markov qui converge en loi vers :

32 32 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Simulation Exemple : les deux algorithmes suivants… …produisent des chaînes de Markov qui converge en loi vers la mesure de Gibbs dénergie U. Algorithme de Metropolis Soit X 0 = x 0 un état initial quelconque. Pour n 0, faire : 1. Tirer un pixel s au hasard (Loi uniforme sur S). 2. Tirer une étiquette e au hasard (Loi uniforme sur V). On note : 3. Calculer la différence : Si U < 0, alors : sinon : avec une probabilité e - U avec une probabilité 1 - e - U Echantillonneur de Gibbs Soit X 0 = x 0 un état initial quelconque. Pour n 0, faire : 1. Tirer un pixel s au hasard (Loi uniforme sur S). 2. Calculer les probabilités conditionnelles : 3. Effectuer un tirage de X n+1 en fonction de cette loi. N. Metropolis 1953 S. Geman & D. Geman 1984 J.L.Marroquín 1985

33 33 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Optimisation But : Nous avons vu comment produire des échantillons de la loi quon a modélisée. On souhaite à présent obtenir la réalisation la plus probable. 1er cas : RELAXATION DETERMINISTE Supposons quon soit capable dobtenir un état initial X 0 = x 0 qui constitue une instance crédible (= une réalisation pas trop improbable) du modèle de Gibbs quon a construit. Dans ce cas : MODELISATION SIMULATION OPTIMISATION Ex: ICM (Iterated Conditional Mode), avec x 0 = seuillage de y

34 34 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 ICM Y t-1 YtYt Y t+1 ICM Algorithme de détection Soit X 0 = x 0. Relaxation { Balayer lens.des pixels s S, et pour tout s : { pour chaque valeur e V, on note x e tel que x e (r) = x(r) si r s et x e (s) = e. on prend : x(s) = arg min U(x e ). } e V ALGORITHME ICM Ê t-1 ÊtÊt Ê t+1 E t-1 EtEt ICM E t+1

35 35 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 ICM : résultats ITX Meudon3.avi MeuObs.avi MeuLab.avi Algorithme complètement déterministe, sapparente à une descente de gradient. Converge vers le premier minimum local de U rencontré. Correct si linitialisation nest pas trop loin du minimum global.

36 36 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 ICM et optimisation ICM U Lalgorithme ICM correspond à une descente de gradient local : Un algorithme de descente de gradient appliqué à une fonction U converge vers le premier minimum global rencontré en aval de linitialisation. Ce minimum nest le minimum global de la fonction U que si U est convexe :

37 37 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Recuit simulé 2d cas : RELAXATION STOCHASTIQUE On passe par une étape de simulation, qui contient du tirage aléatoire. Problème : on a obtenu une convergence en loi, mais comment faire converger les réalisations ? Mesure de Gibbs dénergie U et de température T : exp(-U(x)/T) ZTZT P(X=x) = avec Z T = exp(-U(y)/T) y V S

38 38 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Recuit simulé T 0 T 8 PROPRIETE : 1 – Lorsque T +, la mesure de Gibbs dénergie U et de température T tend vers la probabilité uniforme sur V S. 1 – Lorsque T 0, la mesure de Gibbs dénergie U et de température T tend vers la probabilité uniforme sur lensemble { 1,…, n } des minima de U. (1) T + : 1 card V S (1) T 0 : (1) (2) quand T 0 : (où i est un minimum de U )

39 39 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Recuit simulé : résultats ITX Karlsruhe2.avi KarlObs.avi KarlLab.avi Application : algorithme de Metropolis en faisant décroître T vers 0. Inconvénient majeur : coût de calcul énorme. Mis en œuvre sur architectures parallèles…

40 40 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Recuit simulé et optimisation ICM U Recuit simulé U Par rapport à la descente de gradient, le principe de lalgorithme de recuit simulé est de pouvoir sortir de « puits » de minima locaux en permettant aléatoirement une augmentation de lénergie, dautant plus grande que la température est élevée :

41 41 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Convergences ICM Recuit simulé

42 42 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 GNC et espaces déchelle 3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity) Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {U Z } Z Par exemple, une hiérarchie de modèle de Gibbs peut être induite par une multi- résolution spatiotemporelle de la séquence dimages :

43 43 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 GNC et optimisation 3ème cas : RELAXATION DETERMINISTE GNC (Graduated Non Convexity) Principe : modéliser le problème par une hiérarchie de modèle de Gibbs {U Z } Z Enveloppe convexe Û ICM U GNC U2U2 U1U1 U0U0 A.Blake & A.Zisserman 1987

44 44 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Conclusion Chapitre 1 CALCUL DU CHANGEMENT TEMPOREL Gradient temporel Fond statique Moyenne récursive Mélange de gaussiennes Estimation Morphologie oublieuse REGULARISATION SPATIOTEMPORELLE Filtrage morphologique Relaxation markovienne ICM Recuit simulé Modèles de Gibbs hiérarchiques

45 45 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 Bibliographie Chapitre 1 C. Wren et al 1997 « Pfinder: real-time tracking of the human body » IEEE Trans on Pattern Analysis and Machine Intelligence 19-7 pp C. Stauffer & W.E.L. Grimson 2000 « Learning patterns of activity using real-time tracking » IEEE Trans on Pattern Analysis and Machine Intelligence 22-8 pp A. Manzanera & J. Richefeu 2006 « A new motion detection algorithm based on estimation » Pattern Recognition letters à paraître P.Bouthémy & P.Lalande 1993 « Recovering of moving object in an image sequence using local spatiotemporal contextual information » Optical engineering S. Geman & D. Geman 1984 « Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images » IEEE Transactions on Pattern Analysis and Machine Intelligence J.L.Marroquín 1985 « Probabilistic solution of inverse problems » PhD Thesis, MIT A.Blake & A.Zisserman 1987 « Visual reconstruction » MIT Press


Télécharger ppt "1 Antoine MANZANERA – ENSTA/LEICours ETASM 2006 De la détection de changement à lanalyse du mouvement Antoine MANZANERA – ENSTA/LEI Applications en télésurveillance."

Présentations similaires


Annonces Google