La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Construction de modèles visuels. Motivation On veut décrire –une classe dobjets (visages, piétons, montagnes etc.) –un objet (en tenant compte de ses.

Présentations similaires


Présentation au sujet: "Construction de modèles visuels. Motivation On veut décrire –une classe dobjets (visages, piétons, montagnes etc.) –un objet (en tenant compte de ses."— Transcription de la présentation:

1 Construction de modèles visuels

2 Motivation On veut décrire –une classe dobjets (visages, piétons, montagnes etc.) –un objet (en tenant compte de ses différents aspects) visages non-visages

3 visages non-visages Motivation Décrire –une classe dobjets (visages, piétons, montagnes etc.) –un objet (en tenant compte de ses différents aspects) Déterminer la classe dappartenance modèle visuel = description dimage + apprentissage

4 Motivation Construction dun modèle visuel –à partir dun ensemble dimages (positives / négatives) –choix de la description de limage descripteur global ou plusieurs descripteurs locaux descripteurs discriminants, sélection des descripteurs appropriés descripteurs invariants aux transformations image hiérarchie des descripteurs locaux

5 Motivation Construction dun modèle visuel –à partir dun ensemble dimages (positives / négatives) –choix des descripteurs –description des variations dapparence déterminer la fonction discriminante (SVM, réseau neuronaux) visages non-visages

6 Motivation Construction dun modèle visuel –à partir dun ensemble dimages (positives / négatives) –choix des descripteurs –description des variations dapparence déterminer la fonction discriminante décrire la distribution (histogramme, clustering, mélange de Gaussiennes) objet A objet B objet C

7 Motivation Construction dun modèle visuel –à partir dun ensemble dimages (positives / négatives) –choix des descripteurs –description des variations dapparence déterminer la fonction discriminante décrire la distribution (histogrammes, clustering, mélange de Gaussiennes) apprentissage supervisé ou "faiblement'' supervisé

8 Définition de classes dobjets - exemples Apprentissage supervisé pour la classe des visages Apprentissage »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

9 Détection de visages Représentation des visages : –descripteurs locaux génériques –contraintes spatiales entre les descripteurs Apprentissage supervisé –extraction manuelle des éléments caractéristiques x x x x x

10 Apprentissage du modèle de visage À partir dun ensemble dimages dapprentissage –sélection des caractéristiques et calcul des descripteurs locaux –apprentissage de descripteurs génériques pour chaque caractéristique (yeux, nez, commissures des lèvres) –apprentissage des incertitudes pour les contraintes spatiales

11 Descripteurs génériques La distribution est représentée par un mélange de Gaussiennes estimé par EM et MDL EM (expectation maximization) : estimation des paramètres MDL (minimum description length) : sélection du modèle

12 Algorithme de détection MAP 1) Calcul dun descripteur pour chaque pixel 2) Classifier chaque descripteur (maximum a posteriori) avec Choix dun descripteur générique

13 Algorithme de détection contraintes spatiales 1) Calcul dun descripteur pour chaque pixel 2) Classifier chaque descripteur (maximum a posteriori) 3) Vérification de contraintes spatiales

14 Résultats de la détection de visages

15 Définition dune classe dobjets Apprentissage supervisé pour la classe des visages Apprentissage »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

16 Approche Apprentissage non supervisé –pas dextraction manuelle des caractéristiques/objets –images étiquetées comme positives et négatives Modèles non rigides –représentation à deux niveaux un ensemble de descripteurs génériques des fréquences de voisinage comme contraintes spatiales –invariant à la rotation

17 Construction dun modèle Extraction de descripteurs génériques Contraintes spatiales, fréquences dans un voisinage Sélection de linformation discriminante

18 Extraction de descripteurs génériques Calcul de descripteurs locaux en chaque pixel –invariance à une rotation image Utilisation des répétitions de structure de niveaux de gris –texture et répétitions de structures visuellement similaires –dans limage –entre images Agglomération des descripteurs similaires –clustering (k-means)

19 Exemple de descripteurs génériques

20 Contraintes spatiales Affectation de chaque pixel au cluster le plus similaire Calcul des fréquences dans un voisinage avec fenêtre autour de

21 Contraintes spatiales Probabilité jointe des fréquences du voisinage et du descripteur générique Distribution multi-modale Calcul des clusters de fréquence spatiale

22 Sélection de structures significatives Sélection des clusters caractéristiques, discriminants Apparaissent surtout dans des images positives Significance est définie par

23 Recherche dimages Calcul dun score probabiliste pour chaque pixel –Calcul du descripteur et sélection du cluster le plus similaire –Calcul de la probabilité jointe –Rejet des pixels ayant une probabilité jointe peu significative Moyenne des scores => reconnaissance Sélection des pixels ayant un score important => localisation

24 Résultats de reconnaissance exemples positifs (5) et négatifs (10) images les plus similaires (base contenant 600 images)

25 Localisation dun modèle localisation dun modèle dans une image reconnue

26 Précision / Rappel (zèbre)

27 Précision / Rappel (guépard)

28 Localisation dun modèle localisation dun modèle sur une image retrouvée

29 Précision / Rappel (visages)

30 Définition dune classe dobjets Apprentissage supervisé pour la classe des visages Apprentissage »faiblement » supervisé pour des objets texturés Apprentissage supervisé pour la classe des piétons

31 Approche Description globale du motif Classification avec support vector machine Images dapprentissage Descripteurs Support vector machine Apprentissage

32 Support vector machine On a exemple avec où donne la classe (x i,+1 ) y = +1 y = -1 (x j,-1 )

33 Apprentissage Descripteurs –ondelettes de Haar déchelles 16x16 et 32x32 –Gaussiennes déchelle 17x17 et 34x34 Noyau linéaire : séparation linéaire des données –détection en temps linéaire par rapport à la dimension de lespace des descripteurs différence moyenne est précalculé

34 Détection Support vector machine Détection multi-échelle Résultats Test

35


Télécharger ppt "Construction de modèles visuels. Motivation On veut décrire –une classe dobjets (visages, piétons, montagnes etc.) –un objet (en tenant compte de ses."

Présentations similaires


Annonces Google