La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Mise en correspondance dimages pour lanalyse du mouvement et la stéréovision Nikom SUVONVORN Institut dÉlectronique Fondamentale Université de Paris-Sud.

Présentations similaires


Présentation au sujet: "1 Mise en correspondance dimages pour lanalyse du mouvement et la stéréovision Nikom SUVONVORN Institut dÉlectronique Fondamentale Université de Paris-Sud."— Transcription de la présentation:

1 1 Mise en correspondance dimages pour lanalyse du mouvement et la stéréovision Nikom SUVONVORN Institut dÉlectronique Fondamentale Université de Paris-Sud

2 2 Plan dexposé Problématique Abstraction dimage/Modèle EFLAM Algorithmes dappariement dimages Les mariages stables Système de mise en correspondance Application pour : Stéréovision Mouvement

3 3 Problématique / Objectif Méthode de mise en correspondance dimages Lanalyse du mouvement La stéréovision Développer une méthode générale Ensembles de niveaux comme caractéristique dimage Méthode de décision Une étape décisive pour la vision par lordinateur

4 4 Abstraction dimages

5 5 Décomposition dimage en « Ensemble de niveaux »

6 6 Abstraction dimages Ensemble de niveaux Lignes de niveaux Flots de lignes de niveaux Jonctions Lendroit où au moins deux flots se séparent ou se joignent

7 7 Abstraction dimages Les jonctions de flots lappariement dimages Très sensibles au bruit Seuil (de détection) difficile à déterminer Détection de la variation dintensité autours des jonctions Résister aux perturbations

8 8 Variation des jonctions Modèle EFLAM : Extended Flow Laminating Average Milieu Basé sur Girard/Bonnin SUSAN de Brady (Smallest Univalue Segment Assimilating Nucleus) pour « les jonctions des flots »

9 9 Variation des jonctions Mesure la variation dintensité au point p par la similarité des intensités sur des voisinages I(p) + I(p i ) objet

10 10 x y Modèle EFLAM I + +

11 11 x y Modèle EFLAM I

12 12 Extraction des jonctions Coder la jonction en primitive S*S* SlSl SrSr θlθl θrθr FaFa FbFb

13 13 M ++ M M -- Extraction des jonctions Coder le flot en segment Fiabilité

14 14 Extraction des jonctions = 10 = 15 Méthode de Harris Avant/après le filtrage Donovan Hugh Parks Center for Intelligent Machines McGill University, Canada

15 15 Extraction des jonctions Méthode de Harris = 20 Avant/après le filtrage

16 16 Extraction des jonctions Avant/après le filtrage, = 20 Avant/après le filtrage, = 15

17 17 Appariement dimages

18 18 Appariement dimages Mise en correspondance par mariages stables N … … N w1w1 wNwN w8w8 w5w5 w2w2 w3w3 w8w8 w1w1 w2w2 wNwN w4w4 w8w8 w6w6 wNwN w2w2 N man m1m1 m2m2 mNmN w1w1 w2w2 wNwN N woman m1m1 m3m3 m9m9 m4m4 m6m6 m5m5 m7m7 m1m1 m8m8 m5m5 m4m4 m1m1 mNmN m9m9 m6m6 ? m w w2w2 m1m1

19 19 Contraintes du problème Stabilité (m,w) est un « couple de blocage » : si m préfère w à son associé, et w préfère m à son associée, mais (m,w) nest pas marié dans M Satisfaction Égalité de sexe Complexité Un appariement M est stable sil ne contient aucun « couple de blocage » INSUFFISANT Dan Gusfield et Robert W. Irving MIT Press (1989) Cambridge, Massachusetts

20 20 Algorithme de Gale et Shapley Deux solutions: homme/femme optimal Stabilité : OUI, toujours stable Complexité : OUI, O(n 2 ) Satisfaction globale : NON Égalité de sexe : NON w1w m1m1 m2m2 m3m3 w1w1 w2w2 w3w3 w2w2 w3w3 m2m2 m1m1 m3m3 w3w3 w2w2 w1w1 w2w2 w1w1 w3w3 m3m3 m2m2 m1m1 m2m2 m1m1 m3m3 ?

21 21 Définition Taille (N+1) x (N+1), 0,1,…p,…N, Cellule (p, q) contient les couples (m, w) dont w est le p è me choix de m m est le q è me choix de w Cellule (p,) contient les couples (m, w) dont w est le p è me choix de m m n est pas dans la liste de w (, q) symétrique de (p,) Nouvelle représentation du problème La « table des mariages » (m,w) Le couple (m,w) : m est le 2 ème choix de w et w est le N+1 ème choix de m 01 N 0 1 N q p (m,w) Le couple (m,w) : m nest dans la liste de w et w est le N+1 ème choix de m

22 22 « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages (x, w) (m, y) p q (x, y) (m, w) mariés dans M Non mariés dans M

23 23 « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages p q Satisfaction = p + q Satisfaction constante en anti-diagonales Maximum à lorigine

24 24 « Instabilité » « Satisfaction » et « Égalité de sexe » dans la table des mariages p q Équité = |p – q| Équité constante en diagonales Maximum sur la 1 ère bissectrice

25 25 Nouveaux algorithmes : Zigzag (ZZ m,w ), Zigzag Optimal (OZ) Algorithmes : balayages de la « table des mariages » pour satisfaire au mieux lensemble des contraintes la satisfaction globale légalité de sexe la stabilité p q 2 2 si w et m sont libres, alors (m,w) est marié ZZ m

26 26 Nouveaux algorithmes : Zigzag (ZZ m,w ), Zigzag Optimal (OZ) p q 2 2 ZZ w

27 27 Nouveaux algorithmes : Zigzag (ZZ m,w ), Zigzag Optimal (OZ) p q 2 2 OZ m

28 28 Mesure la distance en moyenne Mesure lamplitude en moyenne Nouveaux algorithmes : performances satisfaction, égalité de sexe et stabilité Mesure le pourcentage du nombre dinstances où x est meilleur que y Satisfaction, et égalité de sexe Stabilité Mesure le nombre des couples de blocages Exécuter les algorithmes sur instances, tirées au hasard Taille de population : 5, 10, 50, 100, 150, 200

29 29 Nouveaux algorithmes : performances Résultats Satisfaction, et égalité de sexe Stabilité Totalement Instable

30 30 p q 2 2 Nouvel algorithme : Un résultat de bornitude (m,w)(m,w) (m,w*) (m*,w) Instable marié dans M non marié dans M

31 31 Nouvel algorithme : Améliorer la stabilité Zigzag Bloqué (BZ) 12N 1 2 N q p 12N 1 2 N q p Stable? Stop si (w, m) sont libres (m, w) est marié (x, y) est marié (m, y) nest pas marié m préfère y à w et y préfère m à x !!! À marier À stabiliser Non Oui (95%) Oui (5%) Boucle limité Divorcer (m, w) et (x, y), et marier (m, y) Cycle?

32 32 Nouvel algorithme : Zigzag Bloqué (BZ) Satisfaction, et égalité de sexe Stabilité

33 33 p q 2 2 Instabilité dans la table de mariages (5%) des « Oscillations » et des « Cycles » (m,w ? ) (m ?,w) (m,w) (m,w ? ) (m ?,w) (m,w) (m,w ? ) (m ?,w) (m,w) (m,w ? ) (m ?,w) (m,w) Cycles Oscillations

34 34 p q 2 2 Suppression des « Oscillations » Cycles Oscillations Femme dabord Homme dabord

35 35 Oscillations Cycles p q 2 2 Suppression des « cycles » (m,w ? ) (m ?,w) (m,w) (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i ) (m,w ? ) (m ?,w) (m,w) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 2,w) (m 3,w) (m,w i ) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m,w 2 ) (m,w 3 ) (m i,w) (m,w) (m 1,w ? ) (m 1,w) (m ?,w 1 ) (m,w 1 )

36 36 p q Suppression des « cycles » (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i ) (m,w ? ) (m ?,w) (m,w) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 2,w) (m 3,w) (m,w i ) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m,w 2 ) (m,w 3 ) (m i,w) (m,w) (m 1,w ? ) (m 1,w) (m ?,w 1 ) (m,w 1 ) (m,w ? ) (m ?,w) (m,w)

37 p q 2 2 Suppression des « cycles » (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i ) (m,w ? ) (m ?,w) (m,w) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 2,w) (m 3,w) (m,w i ) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m,w 2 ) (m,w 3 ) (m i,w) (m,w) (m 1,w ? ) (m 1,w) (m ?,w 1 ) (m,w 1 ) (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i )

38 p q 2 2 Suppression des « cycles » (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i ) (m,w ? ) (m ?,w) (m,w) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 2,w) (m 3,w) (m,w i ) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m,w 2 ) (m,w 3 ) (m i,w) (m,w) (m 1,w ? ) (m 1,w) (m ?,w 1 ) (m,w 1 ) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w)

39 p q 2 2 Suppression des « cycles » (m ?,w 2 ) (m,w 2 ) (m ?,w 3 ) (m,w 3 ) (m,w ? ) (m ?,w 1 ) (m,w 1 ) (m ?,w i ) (m,w i ) (m,w ? ) (m ?,w) (m,w) (m 2,w ? ) (m 2,w) (m 3,w ? ) (m 3,w) (m ?,w) (m 1,w ? ) (m 1,w) (m i,w ? ) (m i,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 2,w) (m 3,w) (m,w i ) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m,w 2 ) (m,w 3 ) (m i,w) (m,w) (m 1,w ? ) (m 1,w) (m ?,w 1 ) (m,w 1 ) (m,w)(m,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 1,w ? ) (m 2,w) (m 3,w) (m i,w) (m 1,w) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m ?,w 1 ) (m,w i ) (m,w 2 ) (m,w 3 ) (m,w 1 ) INSTABLE

40 40 Nouvel algorithme : S-procédure La procédure de stabilisation Sapplique à tous les algorithmes ZZ m S-ZZ m ZZ w S-ZZ w OZ S-OZ BZ S-BZ RZ m S-RZ RZ w S-RZ RGS m S-RGS RGS w S-RGS COMPLEXITE O(n 2 ) O(n 3 ) O(n 2 ) O(n 4 ) O(n 3 )

41 41 Comparaison des résultats SBZ Totalement stable 99,70% 99,80% 26,45% 48,27% Satisfaction Égalité de sexe α β Complexité O(n 3 )

42 42 Système de mise en correspondance

43 43 Système de mise en correspondance des jonctions en multi échelle M R R F D IkIk I k-1 I diff J i, k-1 i J i, k C i C i,s C i,i P E E x y

44 44 M R R F D IkIk I k-1 I diff J i, k-1 i J i, k C i C i,s C i,i P E E Système de mise en correspondance des jonctions en multi échelle

45 45 M R R F D IkIk I k-1 I diff J i, k-1 i J i, k C i C i,s C i,i P E E Système de mise en correspondance des jonctions en multi échelle p q 2 2 (m,w)(m,w) (m 3,w ? ) (m i,w ? ) (m 2,w ? ) (m 1,w ? ) (m 2,w) (m 3,w) (m i,w) (m 1,w) (m ?,w 3 ) (m ?,w i ) (m ?,w 2 ) (m ?,w 1 ) (m,w i ) (m,w 2 ) (m,w 3 ) (m,w 1 )

46 46 M F D R IkIk I k-1 I diff J i, k-1 i J i, k C i C i,s C i,i R P E E Système de mise en correspondance des jonctions en multi échelle

47 47 M R R F D IkIk I k-1 I diff J i, k-1 i J i, k C i C i,s C i,i P E E Système de mise en correspondance des jonctions en multi échelle

48 48 Mise en correspondance Exemples

49 49 Mise en correspondance Exemples

50 50 Mise en correspondance Exemples

51 51 Mise en correspondance Exemples

52 52 Mise en correspondance Exemples

53 53 Mise en correspondance Exemples

54 54 Application à la stéréovision

55 55 Application à la stéréovision Détection dobstacle Acquisition dimages Calibration de caméra Méthode de Le Coat (programmation dynamique) Notre méthode Méthode de Birchield (programmation dynamique) Mise en correspondance V-Disparités Disparités Détection dobstacles Implémenté sur RT-maps IEF / AXIS / SACOL

56 56 Application à la stéréovision Détection dobstacle

57 57 Application à lanalyse de mouvement

58 58 Application à lanalyse de mouvement Jonctions Mise en correspondance Contraintes sur lensemble de niveaux Lignes de niveau Ensemble de niveau Détermination du fond et suivi des objets K-moyennes C-moyennes floues avec contrainte spatiale images flots objets Segmentation dobjets homogènes Segmentation dobjets non homogènes 1 2 3

59 59 Application à lanalyse de mouvement Jonctions Mise en correspondance Contraintes sur lensemble de niveaux Lignes de niveau Ensemble de niveau Détermination du fond et suivi des objets K-moyennes C-moyenne floue avec contrainte spatiale images flots objets Segmentation dobjets homogènes Segmentation dobjets non homogènes 1 2 3

60 60 Application à lanalyse de mouvement Jonctions Mise en correspondance Contraintes sur lensemble de niveaux Lignes de niveau Ensemble de niveau Détermination du fond et suivi des objets K-moyennes C-moyenne floue avec contrainte spatiale images flots objets Segmentation dobjets homogènes Segmentation dobjets non homogènes 1 2 3

61 61 Identification du mouvement C-moyennes floues avec contrainte spatiale Paramètres de déplacement des flots F4 F2 F3 F1

62 62 Identification du mouvement C-moyennes floues avec contrainte spatiale

63 63 Segmentation dobjets Objet homogèneObjet non homogène

64 64 Segmentation dobjets homogènes λuλu λdλd * * xy EFLAM F * λxλx λxλx

65 65 Segmentation dobjets homogènes λdλd λuλu * * xy EFLAM F *

66 66 Segmentation dobjets homogènes λuλu λdλd * * xy EFLAM F * λxλx

67 67 Resultat Segmentation dobjets homogènes

68 68 Segmentation dobjets non-homogènes λxλx λ1λ1 λ2λ2 λ3λ3 λ1λ1 λ3λ3 λ1λ1 λ3λ3

69 69 Segmentation dobjets non-homogènes JF-Snake λ1λ1 λ2λ2 λ3λ3 λ1λ1 λ3λ3 λ1λ1 λ3λ3 Donna J. Williams et Mubarak Shah (1992 )

70 70 Segmentation dobjets non-homogènes JF-Snake λ1λ1 λ2λ2 λ3λ3 λ1λ1 λ3λ3 λ1λ1 λ3λ3 xy EFLAM Énergie L max FjFj pjpj vivi

71 71 Segmentation dobjets non-homogènes JF-Snake

72 72 Conclusion / Perspective Algorithmes de décision pour la mise en correspondance : mariages stables Application pour la détection dobstacle et lanalyse du mouvement Technique vs. ensemble de niveaux Mariages stables à « N-Dimensions » Optimiser lexécution

73 73 Merci Pour Votre Attention


Télécharger ppt "1 Mise en correspondance dimages pour lanalyse du mouvement et la stéréovision Nikom SUVONVORN Institut dÉlectronique Fondamentale Université de Paris-Sud."

Présentations similaires


Annonces Google