La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres.

Présentations similaires


Présentation au sujet: "Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres."— Transcription de la présentation:

1 Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres alternés séquentiels, – Ligne de partage des eaux. Classification (approches globales) : – Modèles markoviens, – Estimation de paramètres. Estimation de mouvement : – Cas dun mouvement rigide, – Flot optique.

2 Comparaison de 2 images 2 types de changements : Apparition / disparition / modification des caractéristiques (radiométriques, forme) dobjets analyse d1 image différence : classification changement / non changement Mouvement / déplacement de la scène/dobjets 1.Recherche d1 mouvement global ici seulement cas des transformations 2D 2.Recherche d1 champ de déplacements image du Flot optique Application à la surveillance : vidéosurveillance, monitoring en télédétection, etc. Application : recalage dimages, compensation mouvement global caméra, etc. Application : estimation mouvement global caméra, détection de cibles en mouvement, etc.

3 Comparaison de 2 images : a priori Quel a priori rajouter pour guider la solution ? 1. Transformation globale : Tous les pixels de la scène ont subit le même mouvement modèle rigide 2. Champ de déplacements : Les pixels de la scène peuvent avoir des mouvements indépendants modèle non rigide Mais les déplacements varient lentement régularisation Affectant TOUS les pixels de limage : translation, rotation, homothétie, affinité

4 Transformations 2D rigides : Translation+rotation+homothétie Translation (vecteur t 0 =( x 0, y 0 ) ) M=M+t 0 Rotation (centre 0, angle ) M=(.e i ).M Homothétie (centre 0, rapport ) coordonnées polaires M(, )=.e i M=. e i( + ) coordonnées log-polaires M(, )=log +i M= log +log +i( + ) 2 combinaisons de transformations élémentaires : translation t 0 puis r, rotation+homothétie, M=(M+t 0 ).r =M.r+t 0.r rotation+homothétie puis translation M=M.r +t 0 =(M+t 0.r -1 ).r On peut toujours appliquer (corriger) dabord la rotation+homothétie puis la translation

5 Rappel : TF d1 image

6 Corrélation de phase Estimation dune translation entre 2 images Soit f 1 et f 2 deux images égales à une translation ( x, y ) près : f 2 ( x, y ) = f 1 ( x x, y y ) Soit F 1 et F 2 leurs transformées de Fourier respectives : F 2 ( u, v ) = F 1 ( u, v ) e j2 ( u/M. x + v/N. x ) Alors : En prenant la transformée de Fourier inverse, on obtient un pic de dirac en ( x, y ), correspondant aux paramètres de translation. Exemple : (© wikipédia) Réduction des effets de bords en filtrant (e.g. Hamming) les images préalablement spectre de puissance croisé normalisé (SPCN)

7 Corrélation de phase : exemple Images TF inverse du SPCN Pic en (0,377) Validation : (251,132)-(177,133)=(75,0) (400,307)-(325,307)=(75,0) Et : =75 (177,133) (325,307) (251,133) (400,307)

8 Fourier-Mellin Estimation dune rotation+homothétie entre 2 images Invariant de Fourier-Mellin = extension de la corrélation de phase pour obtenir les paramètres de rotation et changement d´echelle. Soit g 1 et g 2 deux images égales à une rotation dangle et un changement déchelle de près et G 1 et G 2 leurs TF respectives : g 2 ( x, y ) = g 1 ( ( x. cos + y. sin ), ( x. sin + y. cos )) Passage en coordonnées log-polaires la rotation+changement déchelle devient 1 translation Estimable par corrélation de phase : Propriétés Transformée de Fourier : rotation rotation de même angle homothétie de rapport homothétie de rapport u = cos, v = sin

9 Estim. d1 transfo. rigide 2D entre 2 images 1.Calcul des TF des 2 images g 1 et g 2 G 1 ( u, v ) et G 2 ( u, v ) 2.Passage en coordonnées log-polaires pour les 2 TF G 1 (log, ) et G 2 (log, ) 3.Calcul des TF des 2 im. G 1 (log, ) et G 2 (log, ) G 1 ( u, v ) et G 2 ( u, v ) 4.Calcul du SPCN de G 1 (log, ) et G 2 (log, ) SPCN logpolaire 5.Calcul de la TF inverse du SPCN logpolaire TF -1 (SPCN logpolaire ) 6.Estimation des paramètres de la rotation-homothétie comme les coordonnées du pic de TF -1 (SPCN logpolaire ) (log, ) 7.Application de la rotation dangle - & de lhomothétie de rapport, à limage g 2 h 2 8.Calcul de la TF de h 2 H 2 ( u, v ) 9.Calcul du SPCN de G 1 ( u, v ) et H 2 ( u, v ) SPCN 2 10.Calcul de la TF inverse du SPCN 2 TF -1 (SPCN 2 ) 11.Estimation des paramètres de la translation comme les coordonnées du pic de TF -1 (SPCN 2 ) ( t x, t y ) 12.Application de la translation (- t x,- t y ), à limage h 2 h 1 g 1

10 Invariant de Fourier-Mellin : ex.1 Images TF inverse du SPCN logpolaire Validation : rotation dangle 60° 86/ facteur déchelle = 0.7 (153,212) (387,298) (194,305) (305,183) Pic en (86,482)

11 Invariant de Fourier-Mellin : ex.2

12

13 Transformations dordre supérieur Sélection de points damer : Manuellement (identification de points homologues dans les deux images) Automatiquement (cf. cours de mise en correspondance de primitives) Estimation de la transformation Système déquations linéaires à résoudre Critère des moindres carrés : solution donnée par la matrice pseudo-inverse : limite : sensibilité aux outliers RANSAC (RANdom Sampling Consensus) principe : Couples de points se correspondant dans les 2 images Symétrique positive, & définie si inversible réitération tant que non satisfaisant de : -sélection aléatoire d1 sous-ensemble de points ; -calcul de la solution pour ce sous-ensemble ; -calcul du critère de consensus (e.g. nombre de points dans lens. complet à une distance inférieure à un seuil)

14 Projection d1 image vers lautre : stratégie dinterpolation Projection I 1 2 de limage 1 I 1 dans la géométrie de limage 2 I 2 : Soit T la transformation de limage 1 vers limage 2, et T -1 celle de limage 2 vers limage 1 ; Pour chaque pixel ( i 2, j 2 ) de limage 2, –Calculer ses coordonnées antécédentes sur le pavé correspondant à limage 1 : ( x, y ) = T -1 ( i 2, j 2 ) –En déduire les coordonnées des pixels antécédents dans limage 1 : {( i 1, k, j 1, k )/ dist 2D (( x, y ),( i 1, k, j 1, k ))< s } ; e.g. pour s =1, 4 voisins : –Calculer le niveau de gris du pixel ( i 2, j 2 ) selon linterpolation à lordre choisi : I 1 2 ( i 2, j 2 ) = I({ I 1 ( i 1, k, j 1, k )/ dist 2D (( x, y ),( i 1, k, j 1, k ))< s }) I1I1 I2I2

15 Projection d1 image vers lautre Projection I 1 2 de limage 1 I 1 dans la géométrie de limage 2 I 2 : Soit T la transformation de limage 1 vers limage 2, et T -1 celle de limage 2 vers limage 1 ; Pour chaque pixel ( i 2, j 2 ) de limage 2, –Calculer ses coordonnées antécédentes sur le pavé correspondant à limage 1 : ( x, y ) = T -1 ( i 2, j 2 ) –En déduire les coordonnées des pixels antécédents dans limage 1 : {( i 1, k, j 1, k )/ dist 2D (( x, y ),( i 1, k, j 1, k ))< s } ; e.g. pour s =1, 4 voisins : –Calculer le niveau de gris du pixel ( i 2, j 2 ) selon linterpolation à lordre choisi : I 1 2 ( i 2, j 2 ) = I({ I 1 ( i 1, k, j 1, k )/ dist 2D (( x, y ),( i 1, k, j 1, k ))< s }) Interpolations : –Ordre 0 plus proche voisin –Ordre 1 bilinéaire 2 interpolation linéaires successives : –Ordre 6 bicubique (en ) surface encore plus lisse…

16 Ré-échantillonnage dimage : exemple plus proche voisin bilinéaire

17 Flot optique Pb : Soit 2 images acquises à t et t+1. Quel est le champ des vitesses associé à limage ? Sous-pb : Quel est le champ des vecteurs de déplacement apparent de chaque objet de limage entre t et t+1 ? Définitions : Applications : suivi dobjets, détection de mouvement, etc… Mouvement apparent local : s=( x, y ) S, t, ( v x t, v y t ) représente la vitesse apparente de s à t. Flot optique = champ de mouvement apparent Idéalement, le vecteur ( v x t, v y t ) représente la projection sur le plan image du vecteur vitesse 3D ( V X t, V Y t, V Z t ) des points de la scène. Mvt réel : rotation autour de Z Mvt apparent : vecteur selon Z

18 Soit f(x,y,t) limage vue comme une fct donnant la brillance (niv. de gris) dun objet en (x(t),y(t)) à t Hypothèse de base = conservation de la brillance des objets au cours du temps En pratique, –minimisation de la norme (L1) : avec –régularisation du champ des vitesses Éviter ces solutions ! Flot optique : formulation (I)

19 Flot optique : formulation (II) Ajout d1 terme de régularisation énergie à minimiser : (*) avec –Horn & Schunk (1981) : –Weickert & Schnörr (2000) : avec et lénergie est intégrée sur 1 domaine spatio- temporel [0,T] dans (*)

20 Flot optique : résolution (I) Rappel : soit 1 fct J dépendant d1 fct f et de sa dérivée première : alors 1 extremum de J (s ) est la fct f ( x ) qui satisfait léquation dEuler-Lagrange Cas Horn & Schunck et (**) On pose f = f 0 + f 1, avec f 1 quelconque nulle sur les bords de. Alors si f 0 est 1 minimum, la dérivée de J par rapport à est nulle en =0 :. Or :

21 Flot optique : résolution (II) Approximation du Laplacien et des dérivées 1 ères par filtrage linéaire : avec et En remplaçant dans le système (**) Que lon résout de façon itérative (n numéro ditération):

22 Flot optique : analyse de résultats Image des valeurs de u Image des valeurs de v Principalement valeurs à 0 (gris) Quelques valeurs non nulles au niveau des roues Principalement valeurs à 0 (noir) Valeurs non nulles ( 2) au niveau de la carrosserie

23 Flot optique : exemples de résultats Différence signée uv Alpha=5

24 Flot optique : exemples de résultats Différence signée uv Alpha=10

25 Flot optique : approche hiérarchique Dérivées (1 ères et 2 ndes ) estimées sur des fenêtres de taille 3 3 ou estimation du flot valide que pour des déplacemets petits. approche hiérarchique : principe : Niveau 0 N-2 N-1 Niveau 0 N-2 N-1 Sous échantillonnage compensation du mouvement Image 1 Image 2 Calcul de u&v Compensation du mouvement Calcul de u&v u=u (N-1) v=v (N-1) u=2 u (N-1) +u (N-2) v=2 v (N-1) +v (N-2) u=2 u (1) +u (0) v=2 v (1) +v (0)

26 Flot optique : analyse de résultats Image des valeurs de u Image des valeurs de v (212,286) (204,277) v 6 u 7

27 Flot optique : exemples de résultats

28

29 Flot optique : informations dérivées Cas dune caméra statique : flot permet destimer les mouvements des objets de la scène segmentation de la scène par le mouvement suivi (tracking) des objets Cas dune caméra embarquée : flot permet destimer le mouvement dominant de la scène foyer dexpantion egomotion de la caméra les objets de la scène non statiques trajectoires des objets non statiques

30 Modèle dacquisition de scène Modèle sténopé = pin-hole projection perspective f Z y Y f : distance focale de la caméra En coordonnées homogènes : Rq : Modèle sténopé complet : Matrice de passage du repère 3D de la scène à celui 3D de la caméra (translation+rotation 3D) Projection sur le plan image k x, k y facteurs dagrandissement des pixels, c x, c y coord. du la projection du centre optique de la caméra sur limage

31 Foyer dexpansion Définition : FOE = point ( S) de convergence des directions des mouvements apparents locaux lors dun déplacement de la caméra dans une scène statique. FOE Si la caméra se déplace à la vitesse (-d X /d t,-d Y /d t,-d Z /d t )= (- X,- Y,- Z ), alors tous les points de la scène sont à la même vitesse ( X, Y, Z ) Cas centre optique caméra se projette au centre de limage Modèle Pin-hole expression du flot ( u, v ) en un pixel ( x, y ) Norme des vecteurs déplacement inversement proportionnelle à Z

32 Points dintérêt et flot optique Il existe une approche duale de lapproche variationnelle présentée, à savoir une approche locale (Lucas&Kanade 1981 approches par corrélation) Principe : flot estimé aux points où il est estimable a priori non dense Complémentarité par rapport à lapproche variationnelle dense vision humaine : petits mouvements analyse flot optique dense grands mouvements mise en correspondance de points caractéristiques Hyp.: Champ de mouvement est constant sur une petite région Mesure de confiance basée sur la texture de limage Finalement le calcul du flot optique revient à : identifier les couples de pixels susceptibles dappartenir à un même objet dans les 2 images à t et à t+1 définir 1 critère dassociation des pixels sélectionner la bonne sol. parmi des sol. multiples définir un critère de régularisation du champ des déplacements

33 Détection de changement : Problèmes Pb 1 : soit 1 image de fond, et 1 image acquise à 1 instant t. Quels sont les objets apparus ou disparus par rapport au fond ? Pb 2 : Soit 2 images acquises à t et t+1. Quels sont les objets ayant bougé entre t et t+1 ? Seul cas traité ici : caméra fixe tous les changements détectés sont imputables à des apparitions / disparitions / mouvements dobjets

34 Détection de changement : Approche générale Création d1 image des données D –Niveau dinformation considéré : Valeur absolue des différences des niveaux de gris Différence signée des niveaux de gris Différence (absolue ou non) dimages de primitives : contours… Classification de limage D –Nombre de classes : 2 : changement vs non changement k : non changement, changement de type 1,…, changement de type k-1 –Prise en compte de linformation spatiale Classifications markoviennes (vs ponctuelles) Décision niveau fenêtre On cherche 1 solution qui soit : Robuste au bruit, aux changements dillumination Automatique

35 Création d1 image des données- changements D

36 Classification de limage D Cas 2 classes –Classe non changement ~ Normale centrée variance –Classe non changement ~ quelconque !!! Attention au terme dattache au données –Exemple : cas d1 classe changement bimodale supposée monomode Image des labels vérité Classification aveugle termes attache aux données énergies avec terme voisinage Classification MRF- ICM (itération 1) Image données Paramètres classification

37 Décision A Contrario Principe de Helmholtz : 1.modélisation du cas où il ny a rien (modèle naïf) et 2.contradiction éventuelle de ce modèle Cas de la détection de changements : Classe non changement modèle naïf (& Classe non changement non modélisée !) Estimation de la vraisemblance de lobservation sous hyp. du modèle naïf Décision sur la valeur de probabilité ~ tests a contrario de Fisher sur le nombre de fausses alarmes 1 structure est présente dans 1 groupe dobjets quand la configuration de ces derniers ne peut arriver par simple hasard (sauf exception). Introduit en TI par A. Desolneux (2000)

38 Exemple 1 : détection basée sur les valeurs radiométriques de pixels Modèle naïf : En labs. de changements, limage différence est un champ aléatoire de variables indépendantes gaussiennes centrées Lerreur quadratique cumulée sur 1 sous-ensemble de pixels W i : a 1 fct de répartition qui suit une loi du 2. Critère NFA : principe : mesurer le degré détonnement d1 observation NFA = où |E| est un nombre de tests Significativité maximale : 1 évènement est -significatif si son NFA est < On cherche les sous-ensemble de pixels W i de significativité max., i.e. de NFA minimal Ex. : pour 1 pièce supposée non truquée, il nest pas vraiment étonnant de ne pas tirer face sur 1 tirage aléatoire ; par contre il est très étonnant de tirer 0 fois face sur 10 tirages aléatoires ! Conversion d1 proba. en 1 nombre de fausses alarmes

39 Exemple 1 : résultats Cas où W i est quelconque sur lensemble des pixels de limage : |E| = et Cas où W i est 1 fenêtre rectangulaire de n k pixels : |E| = et de dimensions fixées e.g , 10 20, 20 10, 20 20)

40 Exemple 2 : détection basée sur les labels Limage de données est 1 image de labels 0 – 0 {changement=C, non changement=NC, indéterminé=I} – 0 attribué au niveau pixel erreurs Modèle naïf : En labs. de changements, les labels 0 =changements sont répartis uniformément sur limage Le # de pixels labelisés C, |{C} Wi |, dans 1 sous-ensemble compact de |W i | pixels suit une loi binômiale : Résultats : Étiquettage par méthode 1.1 Étiquettage sur valeur de gradient

41 Bibliographie H. Maître, Le traitement des images, Hermès éditions. J.-P. Cocquerez & S. Philipp, Analyse dimages : filtrage et segmentation, Masson éditions. S. Bres, J.-M. Jolion & F. Lebourgeois, Traitement et analyse des images numériques, Hermès éditions.


Télécharger ppt "Traitement dimages : concepts avancés Morphologie mathématique (cas fonctionnel) : – Erosion, dilatation, ouverture et fermeture fonctionnelles, – Filtres."

Présentations similaires


Annonces Google