Télécharger la présentation
Publié parAmbrosine Bresson Modifié depuis plus de 10 années
1
Mise en correspondance d’images pour l’analyse du mouvement et la stéréovision
Nikom SUVONVORN Institut d’Électronique Fondamentale Université de Paris-Sud
2
๐ Plan d’exposé Problématique Abstraction d’image/Modèle EFLAM
Algorithmes d’appariement d’images Les mariages stables Système de mise en correspondance Application pour : Stéréovision Mouvement
3
Problématique / Objectif
๐ Problématique / Objectif Méthode de mise en correspondance d’images L’analyse du mouvement La stéréovision Développer une méthode générale Ensembles de niveaux comme caractéristique d’image Méthode de décision Une étape décisive pour la vision par l’ordinateur
4
๑ Abstraction d’images
5
๑ Abstraction d’images Décomposition d’image en « Ensemble de niveaux » 4 3 2 1 ≥3 ≥4 ≥1 ≥2
6
L’endroit où au moins deux flots se séparent ou se joignent
๑ Abstraction d’images Ensemble de niveaux Lignes de niveaux Flots de lignes de niveaux Jonctions L’endroit où au moins deux flots se séparent ou se joignent
7
๑ Abstraction d’images Les jonctions de flots l’appariement d’images
Très sensibles au bruit Seuil (de détection) difficile à déterminer Détection de la variation d’intensité autours des jonctions Résister aux perturbations
8
Variation des jonctions
๑ Variation des jonctions Modèle EFLAM : Extended Flow Laminating Average Milieu Basé sur Girard/Bonnin SUSAN de Brady (Smallest Univalue Segment Assimilating Nucleus) pour « les jonctions des flots »
9
Variation des jonctions
๑ Variation des jonctions Mesure la variation d’intensité au point p par la similarité des intensités sur des voisinages + I(p) + I(pi) + + + objet
10
๑ Modèle EFLAM s I + + x y
11
๑ Modèle EFLAM I x y
12
Extraction des jonctions
๑ Extraction des jonctions Coder la jonction en primitive Fb Fa S* Sl Sr θl θr
13
Extraction des jonctions
๑ Extraction des jonctions Coder le flot en segment M++ M M-- Fiabilité
14
Extraction des jonctions
๑ Extraction des jonctions Méthode de Harris = 10 Donovan Hugh Parks Center for Intelligent Machines McGill University, Canada = 15 Avant/après le filtrage
15
Extraction des jonctions
๑ Extraction des jonctions Méthode de Harris = 20 Avant/après le filtrage
16
Extraction des jonctions
๑ Extraction des jonctions Avant/après le filtrage, = 20 Avant/après le filtrage, = 15
17
๒ Appariement d’images
18
? ๒ Appariement d’images Mise en correspondance par mariages stables
N man m1 m2 mN w1 w2 wN N woman w1 wN w8 w5 w2 w3 w4 w6 w2 m1 m3 m9 m4 m6 m5 m7 m8 mN m m1 w
19
Contraintes du problème
๒ Contraintes du problème Stabilité Satisfaction Égalité de sexe Complexité Un appariement M est stable s’il ne contient aucun « couple de blocage » INSUFFISANT (m,w) est un « couple de blocage » : si m préfère w à son associé, et w préfère m à son associée, mais (m,w) n’est pas marié dans M Dan Gusfield et Robert W. Irving MIT Press (1989) Cambridge, Massachusetts
20
Algorithme de Gale et Shapley
๒ Algorithme de Gale et Shapley Deux solutions: homme/femme optimal w2 w1 w3 m1 w1 m1 m2 m3 w2 w3 w1 m2 w2 m2 m3 m1 m3 w3 m1 m2 m3 w1 w2 w3 ? Stabilité : OUI, toujours stable Complexité : OUI, O(n2) Satisfaction globale : NON Égalité de sexe : NON
21
Nouvelle représentation du problème La « table des mariages »
๒ Nouvelle représentation du problème La « table des mariages » Définition Taille (N+1) x (N+1), 0,1,…p,…N, ∞ Cellule (p, q) contient les couples (m, w) dont w est le pème choix de m m est le qème choix de w Cellule (p,∞) contient les couples (m, w) dont m n’est pas dans la liste de w (∞, q) symétrique de (p,∞) 1 N ∞ q p (m,w) (m,w) Le couple (m,w) : m est le 2ème choix de w et w est le N+1ème choix de m Le couple (m,w) : m n’est dans la liste de w et w est le N+1ème choix de m
22
๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages p q (x, w) (m, y) (x, y) (m, w) mariés dans M Non mariés dans M
23
Satisfaction constante en anti-diagonales
๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages Satisfaction constante en anti-diagonales Maximum à l’origine p 1 3 q 2 2 3 4 6 5 7 Satisfaction = p + q
24
๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages Équité constante en diagonales Maximum sur la 1ère bissectrice p 1 3 q 2 1 2 3 Équité = |p – q|
25
Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 Algorithmes : balayages de la « table des mariages » pour satisfaire au mieux l’ensemble des contraintes la satisfaction globale l’égalité de sexe la stabilité ZZm si w et m sont libres, alors (m,w) est marié
26
Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 ZZw
27
Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 OZm
28
๒ Nouveaux algorithmes : performances satisfaction, égalité de sexe et stabilité Satisfaction, et égalité de sexe Mesure le pourcentage du nombre d’instances où x est meilleur que y Exécuter les algorithmes sur instances, tirées au hasard Taille de population : 5, 10, 50, 100, 150, 200 Mesure l’amplitude en moyenne Mesure la distance en moyenne Stabilité Mesure le nombre des couples de blocages
29
Nouveaux algorithmes : performances Résultats
๒ Nouveaux algorithmes : performances Résultats Satisfaction, et égalité de sexe Stabilité Totalement Instable
30
Nouvel algorithme : Un résultat de bornitude
๒ Nouvel algorithme : Un résultat de bornitude (m,w) (m,w*) (m*,w) p 1 3 q 2 non marié dans M marié dans M Instable marié dans M
31
Nouvel algorithme : Améliorer la stabilité Zigzag Bloqué (BZ)
๒ Nouvel algorithme : Améliorer la stabilité Zigzag Bloqué (BZ) (m, w) est marié si (w , m) sont libres (m, w) est marié (x, y) est marié À marier À stabiliser 1 2 N ∞ q p 1 2 N ∞ q p Cycle? Oui (5%) Non (m, y) n’est pas marié m préfère y à w et y préfère m à x !!! Stable? Boucle limité Oui (95%) Stop Divorcer (m, w) et (x, y) , et marier (m, y)
32
Nouvel algorithme : Zigzag Bloqué (BZ)
๒ Nouvel algorithme : Zigzag Bloqué (BZ) Satisfaction, et égalité de sexe Stabilité
33
๒ Instabilité dans la table de mariages (5%) des « Oscillations » et des « Cycles » p 1 3 q 2 (m,w?) (m?,w) (m,w) (m,w?) (m?,w) (m,w) Cycles (m,w?) (m?,w) (m,w) Oscillations (m,w?) (m?,w) (m,w)
34
Suppression des « Oscillations »
๒ Suppression des « Oscillations » Femme d’abord Homme d’abord p 1 3 q 2 Cycles Oscillations
35
Suppression des « cycles »
๒ Suppression des « cycles » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) Cycles (m,w?) (m?,w) (m,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) Oscillations (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)
36
Suppression des « cycles »
๒ Suppression des « cycles » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w?) (m?,w) (m,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)
37
Suppression des « cycles »
๒ Suppression des « cycles » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w?) (m?,w1) (m,w1) (m?,w2) (m,w2) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m?,w3) (m,w3) (m?,wi) (m,wi) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)
38
Suppression des « cycles »
๒ Suppression des « cycles » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)
39
Suppression des « cycles »
๒ Suppression des « cycles » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m3,w?) (mi,w?) (m2,w?) (m1,w?) (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w) (m?,w3) (m?,wi) (m?,w2) (m?,w1) INSTABLE (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m,wi) (m,w2) (m,w3) (m,w1) (m2,w) (m3,w) (mi,w) (m1,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)
40
Nouvel algorithme : S-procédure
๒ Nouvel algorithme : S-procédure La procédure de stabilisation S’applique à tous les algorithmes ZZm S-ZZm ZZw S-ZZw OZ S-OZ BZ S-BZ RZm S-RZ RZw S-RZ RGSm S-RGS RGSw S-RGS O(n2) O(n3) O(n3) COMPLEXITE O(n3) O(n4)
41
Comparaison des résultats
๒ Comparaison des résultats SBZ Totalement stable 99,70% ,80% 26,45% ,27% Satisfaction Égalité de sexe α β Complexité O(n3)
42
๓ Système de mise en correspondance
43
Système de mise en correspondance des jonctions en multi échelle
๓ x y Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s
44
Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s
45
Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E p 1 3 q 2 (m,w) (m3,w?) (mi,w?) (m2,w?) (m1,w?) (m2,w) (m3,w) (mi,w) (m1,w) (m?,w3) (m?,wi) (m?,w2) (m?,w1) (m,wi) (m,w2) (m,w3) (m,w1) P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s
46
Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s
47
Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s
48
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
49
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
50
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
51
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
52
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
53
Mise en correspondance Exemples
๓ Mise en correspondance Exemples
54
๔ Application à la stéréovision
55
Application à la stéréovision Détection d’obstacle
๔ Application à la stéréovision Détection d’obstacle IEF / AXIS / SACOL Méthode de Le Coat (programmation dynamique) Notre méthode Méthode de Birchield Mise en correspondance Acquisition d’images Calibration de caméra V-Disparités Disparités Détection d’obstacles Implémenté sur RT-maps
56
Application à la stéréovision Détection d’obstacle
๔ Application à la stéréovision Détection d’obstacle
57
๕ Application à l’analyse de mouvement
58
Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyennes floues avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets
59
Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyenne floue avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets
60
Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyenne floue avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets
61
Identification du mouvement C-moyennes floues avec contrainte spatiale
๕ Identification du mouvement C-moyennes floues avec contrainte spatiale Paramètres de déplacement des flots F4 F2 F3 F1
62
Identification du mouvement C-moyennes floues avec contrainte spatiale
๕ Identification du mouvement C-moyennes floues avec contrainte spatiale
63
Segmentation d’objets
๕ Segmentation d’objets Objet homogène Objet non homogène
64
Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM λx F * λu λd * λx
65
Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM F * λd λu *
66
Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM F * λu λd * λx
67
Resultat Segmentation d’objets homogènes
๕ Resultat Segmentation d’objets homogènes
68
Segmentation d’objets non-homogènes
๕ Segmentation d’objets non-homogènes λ2 λ3 λx λ1 λ1 λ3 λ1 λ3
69
Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake λ1 λ2 λ3 Donna J. Williams et Mubarak Shah (1992 )
70
Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake λ1 λ2 λ3 x y EFLAM pj vi Énergie Lmax Fj
71
Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake
72
Conclusion / Perspective
๖ Conclusion / Perspective Algorithmes de décision pour la mise en correspondance : mariages stables Application pour la détection d’obstacle et l’analyse du mouvement Technique vs. ensemble de niveaux Mariages stables à « N-Dimensions » Optimiser l’exécution
73
Merci Pour Votre Attention
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.