Jean-Emmanuel DESCHAUD

Présentation au sujet: "Jean-Emmanuel DESCHAUD"— Transcription de la présentation:

1 Jean-Emmanuel DESCHAUD
Perception 3D et modélisation Jean-Emmanuel DESCHAUD Contact :

2 Déroulement du cours 1/ Perception 3D : capteurs et étalonnage
2/ Recalage et consolidation 3/ Descripteurs 3D 4/ Reconstruction 5/ Segmentation et modélisation   6/ Atelier application au véhicule autonome : localisation sur carte « nuage de points »

3 Jean-Emmanuel DESCHAUD
Perception 3D et modélisation Cours 3 : Descripteurs 3D Jean-Emmanuel DESCHAUD Contact :

4 Sommaire 1/ Descripteurs et points d’intérêt 2/ Géométrie différentielle des courbes et surfaces 3/ Calcul numérique sur des nuages de points

5 1/ Descripteurs et points d’intérêt
1.1 Descripteurs et points d’intérêt 1.2 Descripteurs basés sur les normales 1.3 Descripteurs basés sur les courbures

6 1.1 Descripteurs et points d’intérêt
Point d’intérêt / point caractéristique Point de la scène ou de l’objet facile et robuste à identifier entre plusieurs conditions d’observation Notions équivalentes : Cibles (topographie) Amers (navigation ; robotique) Points Harris 3D sur des modèles synthétiques [Sipiran, et al., 2010]

7 Usages des points d’intérêt
Stéréovision (2D) Appariements entre images -> vidéo Recalage (2D, 3D) Rigide, non rigide Navigation (2D, 3D) Points de repères Détection, reconnaissance, classification (2D, 3D) Comparaison avec des bases d’objets

8 Détecteurs et descripteurs
Identifie et localise un point d’intérêt Descripteur : Associe au point identifié une signature Représentation descriptive locale Cette signature facilitera les comparaisons entre images Certaines méthodes associent les deux Détecteur / descripteur

9 Détecteurs / descripteurs sur nuages de points
Besoin de description locale des courbes et surfaces Basés sur normales, courbures, etc. Quelques détecteurs : Local Surface Patches (LSP) (Chen, et al.,2007), Classification selon SI (Hozatlı, 2009), KeyPoint Quality (KPQ) (Mian, et al., 2009), Harris 3D (Sipiran, et al., 2010), SC et HK multi- échelle (Akagunduz, et al., 2009), SURF 3D (Knopp, et al., 2010), Courbure multi- échelle (Ho, et al., 2009), THRIFT (Flint, et al., 2007). Quelques descripteurs : LSP, THRIFT, SURF 3D, Spin (Johnson, et al., 1999), SHOT (Tombari, et al., 2010) et CSHOT (Tombari, et al., 2011). [Shaiek 2013]

10 1.2 Descripteurs basés sur les normales
Sphère Gaussienne Spin Image

11 Normales et Sphère Gaussienne
Les normales sont normées. On les représente par leurs extrémités sur la sphère de rayon unité. Représentation locale ou globale [Horn 84, etc.]

12 Représentation d’un plan et d’un cylindre sur la Sphère Gaussienne

13 Descripteur « Spin Image »
Description de points d’intérêt Images d’accumulation 2D coordonnées cylindriques repère local au point d’intérêt [Johnson, et al., 1999] Géométrie différentielle : Besoin des normales (repère local tangent)

14 Exemple de création de « Spin Images »
Pour 3 points d’intérêt : Nuage de points en coordonnées cylindriques locales « Spin Images » résultantes

15 1.3 Descripteurs basés sur les courbures
Courbures principales Labels H-K

16 Courbures principales d’une surface
Deux courbures caractéristiques appelées courbures principales Kmin et Kmax Leurs directions sont dans le plan tangent. Avec la normale, elles définissent le repère de Darboux Courbure ≠ Rayon de courbure

17 Courbures et cartes de labels H-K
Les courbures sur une surface sont représentées par des labels, fonction des courbures moyenne et gaussienne H et K :

18 Cartes de labels H-K [Besl and Jain 88]

19 Sommaire 1/ Descripteurs et points d’intérêt 2/ Géométrie différentielle des courbes et surfaces 3/ Calcul numérique sur des nuages de points

20 2/ Géométrie différentielle des courbes et surfaces
2.1 Variétés différentielles 2.2 Normales, repères et courbures [Struik 50 ; do Carmo]

21 2.1 Variétés différentielles
Variété de dimension n (n-variété) : Espace topologique localement homéomorphe à Rn Exemples : Variété de dimension 1 : courbe Variété de dimension 2 : surface

22 Variété de dimension 1 : courbe
Homéomorphisme : bijection φ(t) ?

23 Variété de dimension 2 : surface
φ(u,v) ?

24 Variété différentielle
Les homéomorphismes locaux sont des difféomorphismes de classe Ck 1-variété de classe C2 2-variété de classe C2 2-variété de classe C1 (parties recollées)

25 2.2 Normales, repères, courbures
Courbes dans l’espace Abscisse curviligne Normales, tangentes, repère de Frénet Surfaces Plan tangent, normale Courbures principales et repère de Darboux

26 Courbe dans l’espace 1-variété de classe C2
φ fonction bijective continue et différentiable au moins à l’ordre 2, dérivées continues φ(t) On définit l’abscisse curviligne s :

27 Courbe dans l’espace (2)
φ'(t) Si t est le « temps » φ(t) est la trajectoire φ'(t) est la vitesse : Vitesse (scalaire) : Tangente à la trajectoire : φ˝(t) est l’accélération : Parties tangente et perpendiculaire à la trajectoire φ(t) φ˝(t)

28 Courbe dans l’espace (3)
Repère de Frénet : Trajectoire Tangente Normale Repère indépendant de la paramétrisation initiale

29 Surface v n u φ(u,v) Système de coordonnées locales :
φ de classe C2 v n u φ(u,v) Système de coordonnées locales : Paramétrisation régulière si (φu, φv) linéairement indépendants On définit le plan tangent au point P parallèle à (φu, φv) et la normale par :

30 Courbures principales d’une surface
Les courbures Kmin et Kmax sont appelées courbures principales de la surface Leurs directions sont dans le plan tangent. Avec la normale, elles définissent le repère de Darboux

31 Sommaire 1/ Descripteurs et points d’intérêt 2/ Géométrie différentielle des courbes et surfaces 3/ Calcul numérique sur des nuages de points

32 3/ Calcul numérique sur des nuages de points
3.1 Variétés et nuages de points 3.2 Calcul de normales par ACP

33 3.1 Variétés et nuages de points
Variétés différentielles : Surfaces continues, cartes (V,φ), classe C2 Dérivées définies comme limites infinitésimales Nuages de points : Représentation discrète, pas de topologie Echantillonnage limité Problème : Comment estimer les valeurs différentielles ?

34 Topologie et carte approchée
Intermédiaires nécessaires… Besoin de topologie ? Réponse : voisinage Besoin de carte différentiable ? Réponse : surface approchée

35 Voisinage Voisinage : Problèmes numériques : Sphère de voisinage
K plus proches voisins Distance utilisée : Sans structure : distance euclidienne Avec structure topologique (e.g. maillage) : distance géodésique Problèmes numériques : Choix de la taille du voisinage / nombre de voisins, de la distance

36 Surface approchée Surface approchée : difféomorphisme
Exemples : Plan (normales), bi-quadratique (courbures) Problèmes numériques : Choix du modèle de surface Calcul de distance à la surface Détermination de la meilleure surface approchée

37 3/ Calcul numérique sur des nuages de points
3.1 Variétés et nuages de points 3.2 Calcul de normales par ACP

38 3.2 Calcul de normales par ACP
On cherche le meilleur plan approché dans le voisinage d’un point Xi0 Les m points du voisinage sont notés Xi Equation d’un plan : Distance signée d’un point au plan : X d O

39 Résolution par la méthode des moindres carrés
Fonction à minimiser : 4 Paramètres : n, d 1 contrainte

40 Résolution de l’équation de minimisation pour le plan
On pose G : barycentre des points : Mcov : matrice de covariance des points :

41 Solution - ACP Le meilleur plan approché est défini par :
Normale nmin : vecteur propre normé associé à la plus petite valeur propre de Mcov NB : indéterminé à un changement de sens près Distance dmin : La solution fait appel à l’analyse des directions principales de la matrice de covariance : « Analyse en Composantes Principales » (ACP)

42 Pseudo-code de calcul de normales
Calcul d’un voisinage en X0 (rayon ou nombre de points)  n points Calcul de la normale et du repère local par ACP Optionnel : Etude de la valeur du résidu pour validation

43 Démonstration de la solution ACP
1/ S’il existe une solution, condition nécessaire au minimum :

44 Or : D’où : Et donc :

45 2/ La fonction f pour la valeur de d au minimum, s’il existe, s’écrit :

46 Ce qui s’écrit :

47 Le repère local peut être défini par les trois vecteurs propres de M
Par construction, la matrice Mcov est symétrique, positive, diagonalisable Pour tout vecteur n unitaire : Le minimum de f est donc atteint pour le vecteur propre associé à la valeur propre minimale C.Q.F.D Le repère local peut être défini par les trois vecteurs propres de M

48 FIN Ce qui a été vu aujourd’hui
1/ Descripteurs et points d’intérêt 2/ Géométrie différentielle des courbes et surfaces 3/ Calcul numérique sur des nuages de points