Nikom SUVONVORN Institut d’Électronique Fondamentale

Présentation au sujet: "Nikom SUVONVORN Institut d’Électronique Fondamentale"— Transcription de la présentation:

1 Mise en correspondance d’images pour l’analyse du mouvement et la stéréovision
Nikom SUVONVORN Institut d’Électronique Fondamentale Université de Paris-Sud

2 ๐ Plan d’exposé Problématique Abstraction d’image/Modèle EFLAM
Algorithmes d’appariement d’images Les mariages stables Système de mise en correspondance Application pour : Stéréovision Mouvement

3 Problématique / Objectif
๐ Problématique / Objectif Méthode de mise en correspondance d’images L’analyse du mouvement La stéréovision Développer une méthode générale Ensembles de niveaux comme caractéristique d’image Méthode de décision Une étape décisive pour la vision par l’ordinateur

4 ๑ Abstraction d’images

5 ๑ Abstraction d’images Décomposition d’image en « Ensemble de niveaux » 4 3 2 1 ≥3 ≥4 ≥1 ≥2

6 L’endroit où au moins deux flots se séparent ou se joignent
๑ Abstraction d’images Ensemble de niveaux Lignes de niveaux  Flots de lignes de niveaux Jonctions L’endroit où au moins deux flots se séparent ou se joignent

7 ๑ Abstraction d’images Les jonctions de flots  l’appariement d’images
Très sensibles au bruit Seuil (de détection) difficile à déterminer Détection de la variation d’intensité autours des jonctions Résister aux perturbations

8 Variation des jonctions
๑ Variation des jonctions Modèle EFLAM : Extended Flow Laminating Average Milieu Basé sur Girard/Bonnin SUSAN de Brady (Smallest Univalue Segment Assimilating Nucleus) pour « les jonctions des flots »

9 Variation des jonctions
๑ Variation des jonctions Mesure la variation d’intensité au point p par la similarité des intensités sur des voisinages + I(p) + I(pi) + + + objet

10 ๑ Modèle EFLAM s I + + x y

11 ๑ Modèle EFLAM I x y

12 Extraction des jonctions
๑ Extraction des jonctions Coder la jonction en primitive Fb Fa S* Sl Sr θl θr

13 Extraction des jonctions
๑ Extraction des jonctions Coder le flot en segment M++ M M-- Fiabilité

14 Extraction des jonctions
๑ Extraction des jonctions Méthode de Harris  = 10 Donovan Hugh Parks Center for Intelligent Machines McGill University, Canada  = 15 Avant/après le filtrage

15 Extraction des jonctions
๑ Extraction des jonctions Méthode de Harris  = 20 Avant/après le filtrage

16 Extraction des jonctions
๑ Extraction des jonctions Avant/après le filtrage,  = 20 Avant/après le filtrage,  = 15

17 ๒ Appariement d’images

18 ? ๒ Appariement d’images Mise en correspondance par mariages stables
N man m1 m2 mN w1 w2 wN N woman w1 wN w8 w5 w2 w3 w4 w6 w2 m1 m3 m9 m4 m6 m5 m7 m8 mN m m1 w

19 Contraintes du problème
๒ Contraintes du problème Stabilité Satisfaction Égalité de sexe Complexité  Un appariement M est stable s’il ne contient aucun « couple de blocage » INSUFFISANT (m,w) est un « couple de blocage » : si m préfère w à son associé, et w préfère m à son associée, mais (m,w) n’est pas marié dans M Dan Gusfield et Robert W. Irving MIT Press (1989) Cambridge, Massachusetts

20 Algorithme de Gale et Shapley
๒ Algorithme de Gale et Shapley Deux solutions: homme/femme optimal w2 w1 w3 m1 w1 m1 m2 m3 w2 w3 w1 m2 w2 m2 m3 m1 m3 w3 m1 m2 m3 w1 w2 w3 ? Stabilité : OUI, toujours stable Complexité : OUI, O(n2) Satisfaction globale : NON Égalité de sexe : NON

21 Nouvelle représentation du problème La « table des mariages »
๒ Nouvelle représentation du problème La « table des mariages » Définition Taille (N+1) x (N+1), 0,1,…p,…N, ∞ Cellule (p, q) contient les couples (m, w) dont w est le pème choix de m m est le qème choix de w Cellule (p,∞) contient les couples (m, w) dont m n’est pas dans la liste de w (∞, q) symétrique de (p,∞) 1 N ∞ q p (m,w) (m,w) Le couple (m,w) : m est le 2ème choix de w et w est le N+1ème choix de m Le couple (m,w) : m n’est dans la liste de w et w est le N+1ème choix de m

22 ๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages p q (x, w) (m, y) (x, y) (m, w) mariés dans M Non mariés dans M

23 Satisfaction constante en anti-diagonales
๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages Satisfaction constante en anti-diagonales Maximum à l’origine p 1 3 q 2 2 3 4 6 5 7 Satisfaction = p + q 

24 ๒ « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages Équité constante en diagonales Maximum sur la 1ère bissectrice p 1 3 q 2 1 2 3 Équité = |p – q|

25 Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 Algorithmes : balayages de la « table des mariages » pour satisfaire au mieux l’ensemble des contraintes la satisfaction globale l’égalité de sexe la stabilité ZZm si w et m sont libres, alors (m,w) est marié

26 Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 ZZw

27 Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ)
๒ Nouveaux algorithmes : Zigzag (ZZm,w), Zigzag Optimal (OZ) p 1 3 q 2 OZm

28 ๒ Nouveaux algorithmes : performances satisfaction, égalité de sexe et stabilité Satisfaction, et égalité de sexe Mesure le pourcentage du nombre d’instances où x est meilleur que y Exécuter les algorithmes sur instances, tirées au hasard Taille de population : 5, 10, 50, 100, 150, 200 Mesure l’amplitude en moyenne Mesure la distance en moyenne Stabilité Mesure le nombre des couples de blocages

29 Nouveaux algorithmes : performances Résultats
๒ Nouveaux algorithmes : performances Résultats Satisfaction, et égalité de sexe Stabilité Totalement Instable

30 Nouvel algorithme : Un résultat de bornitude
๒ Nouvel algorithme : Un résultat de bornitude (m,w) (m,w*) (m*,w) p 1 3 q 2 non marié dans M marié dans M Instable marié dans M

31 Nouvel algorithme : Améliorer la stabilité Zigzag Bloqué (BZ)
๒ Nouvel algorithme : Améliorer la stabilité Zigzag Bloqué (BZ) (m, w) est marié si (w , m) sont libres (m, w) est marié (x, y) est marié À marier À stabiliser 1 2 N ∞ q p 1 2 N ∞ q p Cycle? Oui (5%) Non (m, y) n’est pas marié m préfère y à w et y préfère m à x !!! Stable? Boucle limité Oui (95%) Stop Divorcer (m, w) et (x, y) , et marier (m, y)

32 Nouvel algorithme : Zigzag Bloqué (BZ)
๒ Nouvel algorithme : Zigzag Bloqué (BZ) Satisfaction, et égalité de sexe Stabilité

33 ๒ Instabilité dans la table de mariages (5%) des « Oscillations » et des « Cycles » p 1 3 q 2 (m,w?) (m?,w) (m,w) (m,w?) (m?,w) (m,w) Cycles (m,w?) (m?,w) (m,w) Oscillations (m,w?) (m?,w) (m,w)

34 Suppression des « Oscillations »
๒ Suppression des « Oscillations » Femme d’abord Homme d’abord p 1 3 q 2 Cycles Oscillations

35 Suppression des « cycles »
๒ Suppression des «  cycles  » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) Cycles (m,w?) (m?,w) (m,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) Oscillations (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)

36 Suppression des « cycles »
๒ Suppression des «  cycles  » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w?) (m?,w) (m,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)

37 Suppression des « cycles »
๒ Suppression des «  cycles  » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w?) (m?,w1) (m,w1) (m?,w2) (m,w2) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m?,w3) (m,w3) (m?,wi) (m,wi) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)

38 Suppression des « cycles »
๒ Suppression des «  cycles  » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)

39 Suppression des « cycles »
๒ Suppression des «  cycles  » 1 2 3 4 (m,w?) (m?,w) (m,w) p 1 3 q 2 (m3,w?) (mi,w?) (m2,w?) (m1,w?) (m?,w2) (m,w2) (m?,w3) (m,w3) (m,w?) (m?,w1) (m,w1) (m?,wi) (m,wi) (m,w) (m?,w3) (m?,wi) (m?,w2) (m?,w1) INSTABLE (m2,w?) (m2,w) (m3,w?) (m3,w) (m?,w) (m1,w?) (m1,w) (mi,w?) (mi,w) (m,wi) (m,w2) (m,w3) (m,w1) (m2,w) (m3,w) (mi,w) (m1,w) (m3,w?) (mi,w?) (m2,w?) (m2,w) (m3,w) (m,wi) (m?,w3) (m?,wi) (m?,w2) (m,w2) (m,w3) (mi,w) (m,w) (m1,w?) (m1,w) (m?,w1) (m,w1)

40 Nouvel algorithme : S-procédure
๒ Nouvel algorithme : S-procédure La procédure de stabilisation S’applique à tous les algorithmes ZZm  S-ZZm ZZw  S-ZZw OZ  S-OZ BZ  S-BZ RZm  S-RZ RZw  S-RZ RGSm  S-RGS RGSw  S-RGS O(n2) O(n3) O(n3) COMPLEXITE O(n3) O(n4)

41 Comparaison des résultats
๒ Comparaison des résultats SBZ Totalement stable 99,70% ,80% 26,45% ,27% Satisfaction Égalité de sexe α β Complexité O(n3)

42 ๓ Système de mise en correspondance

43 Système de mise en correspondance des jonctions en multi échelle
๓ x y Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s

44 Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s

45 Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E p 1 3 q 2 (m,w) (m3,w?) (mi,w?) (m2,w?) (m1,w?) (m2,w) (m3,w) (mi,w) (m1,w) (m?,w3) (m?,wi) (m?,w2) (m?,w1) (m,wi) (m,w2) (m,w3) (m,w1) P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s

46 Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s

47 Système de mise en correspondance des jonctions en multi échelle
๓ Système de mise en correspondance des jonctions en multi échelle Ik-1 D Ik i E Idiff E P Ji,k-1 Ji,k M R R Ci Ci,i F Ci,s

48 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

49 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

50 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

51 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

52 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

53 Mise en correspondance Exemples
๓ Mise en correspondance Exemples

54 ๔ Application à la stéréovision

55 Application à la stéréovision Détection d’obstacle
๔ Application à la stéréovision Détection d’obstacle IEF / AXIS / SACOL Méthode de Le Coat (programmation dynamique) Notre méthode Méthode de Birchield Mise en correspondance Acquisition d’images Calibration de caméra V-Disparités Disparités Détection d’obstacles Implémenté sur RT-maps

56 Application à la stéréovision Détection d’obstacle
๔ Application à la stéréovision Détection d’obstacle

57 ๕ Application à l’analyse de mouvement

58 Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyennes floues avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets

59 Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyenne floue avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets

60 Application à l’analyse de mouvement
๕ Application à l’analyse de mouvement Contraintes sur l’ensemble de niveaux 1 2 3 Ensemble de niveau Lignes de niveau K-moyennes Segmentation d’objets homogènes images Jonctions flots objets C-moyenne floue avec contrainte spatiale Segmentation d’objets non homogènes Mise en correspondance Détermination du fond et suivi des objets

61 Identification du mouvement C-moyennes floues avec contrainte spatiale
๕ Identification du mouvement C-moyennes floues avec contrainte spatiale Paramètres de déplacement des flots F4 F2 F3 F1

62 Identification du mouvement C-moyennes floues avec contrainte spatiale
๕ Identification du mouvement C-moyennes floues avec contrainte spatiale

63 Segmentation d’objets
๕ Segmentation d’objets Objet homogène Objet non homogène

64 Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM λx F * λu λd * λx

65 Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM F * λd λu *

66 Segmentation d’objets homogènes
๕ Segmentation d’objets homogènes x y EFLAM F * λu λd * λx

67 Resultat Segmentation d’objets homogènes
๕ Resultat Segmentation d’objets homogènes

68 Segmentation d’objets non-homogènes
๕ Segmentation d’objets non-homogènes λ2 λ3 λx λ1 λ1 λ3 λ1 λ3

69 Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake λ1 λ2 λ3 Donna J. Williams et Mubarak Shah (1992 )

70 Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake λ1 λ2 λ3 x y EFLAM pj vi Énergie Lmax Fj

71 Segmentation d’objets non-homogènes JF-Snake
๕ Segmentation d’objets non-homogènes JF-Snake

72 Conclusion / Perspective
๖ Conclusion / Perspective Algorithmes de décision pour la mise en correspondance : mariages stables Application pour la détection d’obstacle et l’analyse du mouvement Technique vs. ensemble de niveaux Mariages stables à « N-Dimensions » Optimiser l’exécution

73 Merci Pour Votre Attention