Construction de modèles visuels

Présentation au sujet: "Construction de modèles visuels"— Transcription de la présentation:

1 Construction de modèles visuels

2 Motivation On veut décrire visages non-visages
une classe d’objets (visages, piétons, montagnes etc.) un objet (en tenant compte de ses différents aspects) visages non-visages

3 Motivation Décrire Déterminer la classe d’appartenance visages
une classe d’objets (visages, piétons, montagnes etc.) un objet (en tenant compte de ses différents aspects) Déterminer la classe d’appartenance visages non-visages modèle visuel = description d’image + apprentissage

4 Motivation Construction d’un modèle visuel
à partir d’un ensemble d’images (positives / négatives) choix de la description de l’image descripteur global ou plusieurs descripteurs locaux descripteurs discriminants, sélection des descripteurs appropriés descripteurs invariants aux transformations image hiérarchie des descripteurs locaux

5 Motivation Construction d’un modèle visuel visages non-visages
à partir d’un ensemble d’images (positives / négatives) choix des descripteurs description des variations d’apparence déterminer la fonction discriminante (SVM, réseau neuronaux) visages non-visages

6 Motivation Construction d’un modèle visuel objet A objet C objet B
à partir d’un ensemble d’images (positives / négatives) choix des descripteurs description des variations d’apparence déterminer la fonction discriminante décrire la distribution (histogramme, clustering, mélange de Gaussiennes) objet A objet B objet C

7 Motivation Construction d’un modèle visuel
à partir d’un ensemble d’images (positives / négatives) choix des descripteurs description des variations d’apparence déterminer la fonction discriminante décrire la distribution (histogrammes, clustering, mélange de Gaussiennes) apprentissage supervisé ou "faiblement'' supervisé

8 Définition de classes d’objets - exemples
Apprentissage supervisé pour la classe des visages Apprentissage  »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

9 Détection de visages Représentation des visages :
x Représentation des visages : descripteurs locaux génériques contraintes spatiales entre les descripteurs Apprentissage supervisé extraction manuelle des éléments caractéristiques

10 Apprentissage du modèle de visage
À partir d’un ensemble d’images d’apprentissage sélection des caractéristiques et calcul des descripteurs locaux apprentissage de descripteurs génériques pour chaque caractéristique (yeux, nez, commissures des lèvres) apprentissage des incertitudes pour les contraintes spatiales

11 Descripteurs génériques
La distribution est représentée par un mélange de Gaussiennes estimé par EM et MDL EM (expectation maximization) : estimation des paramètres MDL (minimum description length) : sélection du modèle

12 Algorithme de détection
1) Calcul d’un descripteur pour chaque pixel 2) Classifier chaque descripteur (maximum a posteriori) Choix d’un descripteur générique avec MAP

13 Algorithme de détection
1) Calcul d’un descripteur pour chaque pixel 2) Classifier chaque descripteur (maximum a posteriori) 3) Vérification de contraintes spatiales contraintes spatiales

14 Résultats de la détection de visages

15 Définition d’une classe d’objets
Apprentissage supervisé pour la classe des visages Apprentissage  »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

16 Approche Apprentissage non supervisé Modèles non rigides
pas d’extraction manuelle des caractéristiques/objets images étiquetées comme positives et négatives Modèles non rigides représentation à deux niveaux un ensemble de descripteurs génériques des fréquences de voisinage comme contraintes spatiales invariant à la rotation

17 Construction d’un modèle
Extraction de descripteurs génériques Contraintes spatiales, fréquences dans un voisinage Sélection de l’information discriminante

18 Extraction de descripteurs génériques
Calcul de descripteurs locaux en chaque pixel invariance à une rotation image Utilisation des répétitions de structure de niveaux de gris texture et répétitions de structures visuellement similaires dans l’image entre images Agglomération des descripteurs similaires clustering (k-means)

19 Exemple de descripteurs génériques

20 Contraintes spatiales
Affectation de chaque pixel au cluster le plus similaire Calcul des fréquences dans un voisinage avec fenêtre autour de

21 Contraintes spatiales
Probabilité jointe des fréquences du voisinage et du descripteur générique Distribution multi-modale Calcul des clusters de fréquence spatiale

22 Sélection de structures significatives
Sélection des clusters caractéristiques, discriminants Apparaissent surtout dans des images positives Significance est définie par

23 Recherche d’images Calcul d’un score probabiliste pour chaque pixel
Calcul du descripteur et sélection du cluster le plus similaire Calcul de la probabilité jointe Rejet des pixels ayant une probabilité jointe peu significative Moyenne des scores => reconnaissance Sélection des pixels ayant un score important => localisation

24 Résultats de reconnaissance
exemples positifs (5) et négatifs (10) images les plus similaires (base contenant 600 images)

25 Localisation d’un modèle
localisation d’un modèle dans une image reconnue

26 Précision / Rappel (zèbre)

27 Précision / Rappel (guépard)

28 Localisation d’un modèle
localisation d’un modèle sur une image retrouvée

29 Précision / Rappel (visages)

30 Définition d’une classe d’objets
Apprentissage supervisé pour la classe des visages Apprentissage  »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

31 Approche Description globale du motif
Classification avec support vector machine Support vector machine Descripteurs Apprentissage Images d’apprentissage

32 Support vector machine
On a exemple avec où donne la classe (xi,+1) y = +1 y = -1 (xj,-1)

33 Apprentissage Descripteurs
ondelettes de Haar d’échelles 16x16 et 32x32 Gaussiennes d’échelle 17x17 et 34x34 Noyau linéaire : séparation linéaire des données détection en temps linéaire par rapport à la dimension de l’espace des descripteurs différence moyenne est précalculé

34 Détection Support vector machine Test Résultats
Détection multi-échelle

35