La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Analyse du mouvement et suivi dobjets u Image de lhistorique de mouvement (MHI) u Flux optique u Suivi dobjets.

Présentations similaires


Présentation au sujet: "SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Analyse du mouvement et suivi dobjets u Image de lhistorique de mouvement (MHI) u Flux optique u Suivi dobjets."— Transcription de la présentation:

1 SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003

2 Analyse du mouvement et suivi dobjets u Image de lhistorique de mouvement (MHI) u Flux optique u Suivi dobjets par ondelettes de Gabor u Suivi dobjets par le filtre de Kalman

3 Image de lhistorique de mouvement (MHI) u Une MHI est une image qui accumule les changements durant un intervalle de temps donné pour chaque pixel dune image u Une image de gradient de mouvement (MGI) représente le gradient de mouvement dans une MHI, représente la direction et lintensité du changement spatial

4 Image de lhistorique de mouvement (MHI) a)Image au temps t 0 b) Image au temps t k c) Image de mouvement non seuillée d) Image de mouvement détecté

5 Image de lhistorique de mouvement (MHI) ROI 1) Front 2) Œil gauche 3) Œil droit 4) Joue gauche 5) Joue droit 6) Bouche

6 Image de lhistorique de mouvement (MHI) u La MHI est mise à jour à chaque fois quune image de différence découlant de la différence entre deux images prises au temps t k et t k+1 est produite Si Idiff( x,y ) > S => MHI(x,y) = Si Idiff( x,y ) MHI(x,y) = 0 Si Idiff( x,y ) = ( - ) => MHI(x,y) -= 1 Avec: : le temps t actuel : la durée maximale de lhistorique de mouvement

7 Image de lhistorique de mouvement (MHI)

8 u Limage du gradient (MGI) de mouvement est obtenue en calculant le gradient avec le filtre de Sobel sur la MHI

9 Image de lhistorique de mouvement (MHI) a) MHI au début (surprise) b) MGI au début c) MHI à la fin d) MGI à la fin

10 Image de lhistorique de mouvement (MHI)

11 Flux optique u Deux suppositions importantes: 1.La fonction image I(x, y, t) est principalement dépendante de la position x,y 2.La fonction image I(x,y,t) dun objet ne change pas dans limage u Si après un temps t un objet subit une translation dx et dy, nous pouvons écrire la fonction I(x, y, t) en faisant le développement en séries de Taylor

12 Flux optique u De la supposition 2 nous pouvons écrire: Alors En divisant par dt Équation du mouvement

13 Flux optique u Approche proposée par Lucas & Kanade –Résolution dun système déquations linéaires par moindres carrés –Les soln sont les vecteurs vitesse u et v –Voir lkdemo.c dans le répertoire samples de OpenCV

14 Flux optique (lkdemo.c dans OpenCV)

15

16 Suivi dobjets par ondelettes de Gabor u Pour suivre le mouvement des expressions du visage, ou le déplacement de pixels significatifs dans une image nous pouvons utiliser des méthodes de suivi comme lapproche Block Matching mais cette approche est sensible au bruit et au changement dillumination. u De plus si ces pixels ne sont pas nécessairement dans des régions à fort contraste, une méthode étant capable de considérer un pixel et son environnement immédiat devrait être employée. u Aussi, la méthode doit être capable de supporter une certaine déformation des éléments du voisinage dun pixel en plus dêtre tolérantes aux changements dillumination ainsi quaux transformations globales de translations, rotations et changements déchelle. u La transformée basée sur les ondelettes de Gabor possèdent les caractéristiques requises

17 Suivi dobjets par ondelettes de Gabor u Londelette de Gabor est une sinusoïdale atténuée par une gaussienne. u Lorsque utilisée comme noyau de convolution, elle permet dassocier à chaque pixel un nombre complexe caractérisant ce pixel dans sont environnement à une fréquence et une orientation spatiale donnée. u En augmentant le nombres dorientations et les fréquences déchantillonnage, on obtient une mesure de plus en plus précise de la région de limage

18 Suivi dobjets par ondelettes de Gabor

19 u La transformée en ondelettes de Gabor et plus spécifiquement la définition dun jet tel que définie par Wiscott et al., permet de caractériser un pixel et son environnement en considérant un nombre discret déchelles et dorientations. u Un jet est une série de résultats découlant des convolutions obtenues avec des noyaux de Gabor générés à différentes échelles et orientations

20 Suivi dobjets par ondelettes de Gabor u Le jet J dun pixel donné dans une image est donné par: Cette expression revient à une convolution dans le domaine discret

21 Suivi dobjets par ondelettes de Gabor u La famille de noyaux de Gabor peut être déduit par Pour 4 fréquences et 6 orientations

22 Suivi dobjets par ondelettes de Gabor u En utilisant par exemple, quatre (4) fréquences et six (6) orientations, un jet se compose donc de vingt- quatre (24) coefficients complexes, ce qui peut être écrit sous la forme Partie réelle Partie imaginaire

23 Suivi dobjets par ondelettes de Gabor Résultat de la convolution de quatre noyaux de Gabor (2 fréquences et 2 orientations)

24 Suivi dobjets par ondelettes de Gabor u Pour localiser les jets qui se déplacent dune image à lautre, il faudra comparer le jet original dans une image donnée aux jets environnant dans une autre image pour trouver celui est semble le plus similaire u La formule suivante permet de comparer deux (2) jets Le symbole. représente le produit scalaire et les barres verticales représentant le module. Cette fonction retourne le cosinus de langle entre les deux (2) vecteurs dans un espace complexe à vingt-quatre (24) dimensions

25 Suivi dobjets par ondelettes de Gabor u Pour suivre le déplacement des points, il suffit de trouver le pixel minimisant cette fonction dans le voisinage du pixel de limage précédente. u Puisque la fonction S implique un grand nombre de multiplication et est donc algorithmiquement coûteuse, il faut éviter de parcourir limage entière pour localiser le pixel idéal. u Pour ce faire, une recherche saccadée est souhaitable. Nous pouvons débuter la recherche centrée sur la position du pixel dans limage précédente et tester ensuite les pixels qui apparaissent dans la grille suivante u Le meilleur candidat est ensuite sélectionné comme centre pour la prochaine itération

26 Suivi dobjets par ondelettes de Gabor Grille de recherche utilisée pour la comparaison des jets

27 Suivi dobjets par le filtre de Kalman u Cette approche permet de faire la mise à jour temporelle du vecteur détat dun système permettant de prédire son état dans le future u La mise à jour basée sur les mesures empiriques permet lajustement de lestimation projetée

28 Suivi dobjets par le filtre de Kalman u Si nous considérons un pixel significatif dans une image captée au temps t k u Ce pixel a une vélocité de u Avec un vecteur détat

29 Suivi dobjets par le filtre de Kalman u Le modèle du système est écrit sous forme dun filtre de Kalman Bruit gaussien de moyenne nulle Position et vitesse mise à jour au temps k

30 Suivi dobjets par le filtre de Kalman u Sous forme matricielle nous pouvons réécrire le vecteur détat:

31 Suivi dobjets par le filtre de Kalman u Nous pouvons alors estimer z k la position du point p k à chacune des images dune séquence, de cette façon le modèle empirique du filtre de Kalman devient: Bruit gaussien de moyenne nulle

32 Suivi dobjets par le filtre de Kalman u LINPUT au temps t k est formé des matrices de covariance Q k-1 associée au processus de bruit k-1 et R k-i associé au processus de bruit k-1

33 Suivi dobjets par le filtre de Kalman (kalman.c dans OpenCV)

34 u Suivi dun point effectuant une rotation. –La vitesse de rotation est constante. –Les vecteurs détat et de mesures empiriques sont 1D (a point angle), –Les mesures sont des valeurs réelles (angles) + bruit gaussien. –La position des points réel et estimée sont reliés par une ligne jaune, –La position des points réel et mesurée sont reliés par une ligne rouge. u Si lalgorithme de Kalman fonctionne bien: le segment de droite jaune devrait être plus court que le rouge.

35 Suivi dobjets par le filtre de Kalman (kalman.c dans OpenCV)

36

37

38 Résumé u Analyse du mouvement et suivi dobjets –MHI –Flux optique –Suivi dobjets par ondelettes de Gabor –Suivi dobjets par le filtre de Kalman


Télécharger ppt "SUJETS SPÉCIAUX EN INFORMATIQUE I PIF-6003. Analyse du mouvement et suivi dobjets u Image de lhistorique de mouvement (MHI) u Flux optique u Suivi dobjets."

Présentations similaires


Annonces Google