20/09/2018 Caractérisation et modélisation de la distribution spatiale de signatures locales dans les images : Application à la classification d'image sonar de fonds marins Soutenance de thèse Huu Giao NGUYEN

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 1 Introduction (1/4) Contexte Une collaboration entre Telecom Bretagne et l’IFREMER pour l’analyse d’images sonars de fonds marin. sable rocheux maerl L. Hellequin 1998 & G. Le Chenadec 2004 & I.Karoui 2007

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 2 Introduction (2/4) Caractérisation des images Matrices de cooccurrences (Haralick 73) Gabor et ondelettes (Daugman 88) Multifractales(Kaplan 99) Point d’intérêt Niveau de pixels Niveau de signatures locales Région;Objet SIFT(Lowe04), SURF(Bay06), Daisy(Tola10) Carte Topographique (Caselles99), 2D-3D shape (MPEG4 01)

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 3 Introduction (3/4) : Caractérisation d’une image par ses signatures locales Différents semis de points marqués dans l’image Détection Catégorisation Estimation les occurrences des catégories (Sivic 03) La non prise en compte de l’information spatiale

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 4 Introduction (4/4) Contributions  Prise en compte de l’information spatiale dans la description de la distribution des signatures locales d’une image  Statistiques descriptives cooccurrences d’ordre 2 [ECCV2010, RFIA2010]  Modèles statistiques de Cox log-Gaussien [TGRS2011]  Les applications à la classification d’images :  Textures naturelles : [CVPR 2011]  Scènes naturelles [ICIP2011]  Sonars de fonds marins [ICASSP2010, ICASSP2011]

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 5 Plan 1. Les images vues comme des ensembles de signatures locales « spatialisées » Statistiques descriptives et modèles de processus ponctuels marqués Caractérisation d’une image à partir de ses signatures locales 2. Application à la classification d’images Textures naturelles, scènes naturelles Images sonars de fonds marins

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 6 Les images vues comme des ensembles de signatures locales « spatialisées » Chaque point {s i } : L’ensemble de signatures locales dans l’image I L’ensemble de points {s i } dans une région B Position spatiale s i (x,y) Information visuelle V si (u 1, …,u n )

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 7 Plan 1. Les images vues comme des ensembles de signatures locales « spatialisées » Statistiques descriptives et modèles de processus ponctuels marqués Caractérisation d’une image à partir de ces signatures locales 2. Application à la classification d’images Textures naturelles, scènes naturelles Images sonars de fonds marins

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 8 Processus ponctuels spatiaux Un processus ponctuel S sur un ensemble spatial B ⊂ R 2 est la donnée d’une réalisation aléatoire {s i } ⊂ S localement finie telle que pour tout borélien borné B i, le nombre de points tombant dans B i est une variable aléatoire. [Diggle83,Stoyan87]  Le moment d’ordre 1 (p=1):  Le moment d’ordre 2 (p=2):

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 9 Processus ponctuels spatiaux multivariés  Le moment d’ordre 1 : (Sac de mots)  Le moment factoriel d’ordre 2 : Considérant un processus ponctuel multivarié ψ={s i,m i }, où chaque point s i est associé à une marque m i = {m 1,…,m k } : = 1 =2

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 10 Statistiques descriptives second-ordre  Fonction K de Ripley : (Ripley81) Vecteur descripteur proposé : Statistiques descriptives Spatiales de Cooccurrences (SSC) permettent de mesurer le semis de points de type j dans une boule d’étude de rayon r centrée en un point de type i. où la densité moyenne λ = μ(B)/ |B| Cluster Poissonien : K(r) = πr 2 r

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 11 Modèles de processus ponctuels Description empirique Λ = f(Y(s)) Modèle théorique Mesure sur les observations aléatoiresEstimer les paramètres du modèle Modèle de Cox log-Gaussien (Moller98) Définition : Le processus de Cox multivarié X={X i } gouverné par les fonctions d’intensités aléatoires Λ={Λ i (s):s  R 2 }, conditionnellement à Λ i (s), X i est une généralisation du processus ponctuel de Poisson (PPP) où l’intensité est aléatoire. Λ i (s)=exp(Y i (s)) : processus de Cox log-Gaussien (LGCP) où Y i (s) un champ Gaussien

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 12 Estimation & simulation de modèles de Cox log-Gaussiens  La mesure d’ordre 2 :  La mesure d’ordre 1 : (λ i, σ ij, β ij ) Vecteur descripteur proposé : l’estimation paramétrique de modèles de Cox log-Gaussiens  Simulation de LGCP sur les différentes formes de covariance L(β,r) : Gaussien : exp(-(r/β) 2 ) Hyperbolique : (1+r/β) -1

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Détection des signatures locales et leurs caractéristiques Les descripteurs de la distribution spatiale des points Point d’intérêt Formes page 13

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 14 Plan 1. Les images vues comme des ensembles de signatures locales « spatialisées » Statistiques descriptives et modèles de processus ponctuels marqués Caractérisation d’une image à partir de ces signatures locales 2. Application à la classification d’images Textures naturelles, scènes naturelles Images sonars de fonds marins

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 DétecteurCoin RégionRotation Echelle AffineRéf. Harris x xHarris88 Harris-Laplacien x (x) x xMikolajczyk01 Hessienne-Laplacien (x) x x x Harris-Affine x (x) x x xMikolajczyk05 Fast Hessien (x) x x xBay06 DoG (x) x x xLowe04 page 15 Points d’intérêt (1/2) Détection de points d’intérêt HarrisHarris-AffineDoGHarris-Laplacien Détection de points d’intérêt (Tuytelaars 07)

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 16 Points d’intérêt (2/2) Descriptions invariantes de points d’intérêt Scale-invariant feature transform- DoG+SIFT (Lowe 04) RotationEchelleContraste DétecteurDoGFast-Hes Hes-LapHar-Lap DescripteurSiftSurfBriefDaisySift-Spin Réf.Lowe04Bay 06Calonder10Tola10Zhang07

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 17 Formes (1/2) Détection de formes Représentation d’une image par les lignes de niveau Ensembles de niveaux inférieurs et supérieurs Un arbre de l’ensemble de niveaux supérieurs Fast Level-Set Transform -FLST (Caselles99) ≥0 ≥1 ≥

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 18 Formes (2/2) Description invariante de formes Le descripteur « inner-distance shape context » IDSC (Ling05): inner-distance d(x j,x i )

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Caractérisation d’une image à partir de ses signatures locales Les descripteurs de la distribution spatiale des points Point d’intérêt Formes page 19  Catégorisation  Calcul les descripteurs :

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 20 Propriétés d’invariances et Complexité Adaptation des effets d’échelle : le facteur d’échelle de l’image  est calculé.  La complexité de descripteurs proposés :  Les descripteurs ont hérité les qualités d’invariances de signatures locales par changement de contraste, de rotation, et partiel en affine. Sac de motStatistique descriptive SSC Modèle Cox log-Gaussien kNrk2Nrk2 k(k+2) Nrk*Nrk* 3k * A A Réduction µ=6 µ=2

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 21 Plan 1. Les images vues comme des ensembles de signatures locales « spatialisées » Statistiques descriptives et modèles de processus ponctuels marqués Caractérisation d’une image à partir de ces signatures locales 2. Application à la classification d’images Textures naturelles, scènes naturelles Images sonars de fonds marins

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Brodatz66Curret(Dana99)KTH-Tip(Hayman04) page 22 Classification des textures naturelles 25 classes de textures UIUC [Lazebnik05]; 40 images de 640x480 pixels par classe. Rotation ContrasteEchelleDéformation Taux moyens et écarts types de bonne classification Sans qualités d’invariancesSans informations spatialesSans informations en échelle BrodatzCurretKTH-TipUIUC ContrasteXXX RotationX EchelleXX

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Caltech-101 [Fei-Fei 04] Graz [Opelt 04] page 23 Classification des images naturelles Images de scène naturelle  15 classes de scènes naturelles, chaque classe contient 210 à 410 images: Pyramide spatiale de mots visuels (Lazebnik06) 81,4% Corrélogramme spatial (Liu 07) 81,72% Modèle hiérarchique bayésien (Fei-Fei 05) 74,8% Modèle de Cox log-Gaussien 82,9% [Lazebnik06]

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 24 Plan 1. Les images vues comme des ensembles de signatures locales « spatialisées » Statistiques descriptives et modèles de processus ponctuels marqués Détection des signatures locales et leurs caractéristiques Caractérisation d’une image à partir de ces signatures locales 2. Application à la classification d’images Textures naturelles, scènes naturelles Images sonars de fonds marins

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 25 Présentation Projet REBENT (Ifremer) sur les habitats benthiques côtiers dans un secteur de 200km2 dans la baie Concarneau en Sonar à Balayage Latéral (DF1000) et Sondeurs Multi-Faisceaux (EM1000, Seabat8101). 25 vidéos sous-marine, 93 échantillonnages biologiques, 50 sonogrammes de DF1000.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 26 Images sonars de DF1000 L’intensité de l’écho rétro-diffusé (BS - Backscattering Strength) dépend de l’angle d’incidence θ inc de l’onde acoustique avec le fond marin.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 27 Base de données des textures sonars 6 classes d’images sonars du fond marin. 40 images de 256x256 pixels par classe avec des valeurs différentes d’angles d’incidence, d’échelles et de niveaux moyens d’écho rétrodiffusé. La vase La vase sableuse Le maërl sablo-graveleux Le sable fin à moyenLe substratum rocheux Les sédiments mélangés VERITE TERRAIN

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 28 Résultats obtenus Taux moyens et écarts types de bonne classification avec f=50 fois, DoG+Sift, RF Matrice de confusion de la classification de textures sonars, N t = 5.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 29 Principales contributions Caractérisation invariante des images Les images vues comme des ensembles aléatoires de signatures locales Prise en compte conjointe des informations visuelles et spatiales Mise en évidence de la pertinence des modèles de processus ponctuel de type Cox log-Gaussiens Application à la reconnaissance d’images Applications à l’imagerie sonar des fonds marins Mise en évidence des méthodes de points d’intérêt Fort gain en termes de performances de reconnaissance des fonds marins Introduction d’une base de référence pour l’évaluation des méthodes de reconnaissance des textures sonars

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 30 Perspectives Les images vues comme des ensembles aléatoires de signatures locales : -Explorer d’autres modèles statistiques spatiaux (Neyman-Scott, Cox shot-noise, Gibbs-Strauss). -Potentiel des outils statistiques associés aux modèles de processus ponctuels (simulation, significativité, goodness-of-fit, distance entre modèles). -Potentiel du formalisme pour la combinaison de différents types de signatures. -Application à la segmentation basée texture, à la synthèse de textures.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 31 Perspectives La caractérisation et l’interprétation du contenu des images sonars : -Fusion d’informations spatialisées de différents capteurs (éventuellement à différentes résolutions). -Développement des méthodes de points d’intérêt pour l’imagerie sonar (recalage, positionnement AUV). -Applications potentielles : détection d’objets enfouis, suivi des changements/évolutions des fonds marins.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Publications H-G Nguyen et al. "Keypoint-based analysis of sonar images : application to seabed recognition." IEEE Transaction on Geoscience and Remote Sensing TGRS’2011. H-G Nguyen et al."Multivariate log-Gaussian Cox models of elementary shapes for recognizing natural scene categories". IEEE International Conference on Image Processing, ICIP’2011. H-G Nguyen et al." Visual textures as realizations of multivariate log-Gaussian Cox processes." IEEE Conf. on Computer Vision and Pattern Recognition, pp , CVPR’2011. H-G Nguyen et al." Log Gaussian Cox Processes of visual keypoints for sonar texture recognition." IEEE Conf. on Acoustics, Speech and Signal Processing, pp , ICASSP’2011. H-G Nguyen et al." Spatial statistics of visual keypoints for texture recognition." European Conference on Computer Vision, Vol.6314, pp , ECCV’2010. H-G Nguyen et al." Invariant descriptors of sonar textures from spatial statistics of local features." IEEE Conf. on Acoustics, Speech and Signal Processing, pp , ICASSP’2010. H-G Nguyen et al." Statistiques spatiales de points d’intérêt pour la reconnaissance invariante de textures.", 5ème Congrès Francophone AFRIF-AFIA de Reconnaissance des Formes et Intelligence Artificielle, RFIA’2010. page 32

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 33 MERCI

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Annexe: Points d’intérêt Matrice de Harris : Matrice Hessienne : Matrice de Harris-Laplacien : page 34

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011 Annexe: DoG page 35

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 36 Annexe: Classification supervisée (1/2) k-plus proches voisins (k-NN) Machine à vecteurs de support (SVM) Pour le k-NN et le SVM, les mesures de similarité entre des vecteurs d’entré sont : la distance Euclidienne, χ 2 et la divergence de Jensen-Shannon. 1/|w| Hyperplan optimal Vecteurs de supportMarge maximale

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 37 Annexe: Classification supervisée(2/2) Un arbre de décision binaire Forêt aléatoire (RF): Tirer un échantillon aléatoire pour construire un arbre de décision binaire Choisir quelques variables pour former la décision associée au nœud. La class est attribué par vote majorité entre les arbres dans la forêt.

Soutenance de thèseGiao Huu NGUYEN – Brest 28/10/2011page 38 Annexe: Réduction de la complexité Avant : Après :