La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Traitements d'images et Vision par ordinateur Reconnaissance des formes Alain Boucher - IFI

Présentations similaires


Présentation au sujet: "Traitements d'images et Vision par ordinateur Reconnaissance des formes Alain Boucher - IFI"— Transcription de la présentation:

1 Traitements d'images et Vision par ordinateur Reconnaissance des formes Alain Boucher - IFI

2 Reconnaissance des formes

3 Vision par ordinateur - Alain Boucher3 Reconnaissance des formes On dispose dune banque de modèles spécifiques dobjets. On se servira de cette banque de modèles pour apprendre à reconnaître de nouveaux objets. On cherche à identifier lesquels parmi ces objets sont dans limage et dans chacun des cas, quelle est la pose (position + orientation) par rapport à caméra. Il existe La reconnaissance générique exemple : rechercher une humain dans une image La reconnaissance spécifique exemple : rechercher Alain Boucher dans une image.

4 Vision par ordinateur - Alain Boucher4 Reconnaissance des formes Une forme peut être considérée comme un arrangement de descripteurs. Un descripteur peut être une caractéristique, un codage du contour, une signature, le spectre de Fourier, une mesure statistique dans le domaine spatial ou fréquentiel, le squelette de l'objet, etc. Une caractéristique peut être : Intensité, histogramme, couleur, texture, surface, périmètre, centre de masse, centre d'énergie, longueur des axes majeur et mineur, angles des axes majeur et mineur, circularité, etc.

5 Vision par ordinateur - Alain Boucher5 Reconnaissance des formes Les objets (ou formes) peuvent être identifiés par un descripteur unique, ou par un ensemble de descripteurs. Cet ensemble de descripteurs (unique ou multiple) peut être considéré comme un vecteur une chaîne de caractères un arbre

6 Vision par ordinateur - Alain Boucher6 Reconnaissance des formes Les vecteurs de formes à une dimension se présente comme une matrice en colonne ou sa transposée :

7 Vision par ordinateur - Alain Boucher7 Reconnaissance des formes Plusieurs formes peuvent partager des descripteurs communs Une classe de formes peut être définie pour permettre le regroupement de ces formes aux caractéristiques communes Les classes de formes sont dénotées par 1, 2, …, W où W est le nombre total de classes

8 Vision par ordinateur - Alain Boucher8 Caractéristiques dune forme Centre de gravité Cx et Cy. Surface [S] (en pixels) Périmètre [P] : mesuré comme la somme des distances entre pixels (somme de 1 et ) Moyenne des niveaux de gris (ou couleurs) Variance des niveaux de gris (ou couleurs) Conseil : utiliser un autre espace couleur que RGB pour coder les couleurs (par exemple HLS), car celui-ci est non-linéaire fausse les résultats. Facteur de forme : … Droite : Ff = 0 Cercle : Ff = 1

9 Vision par ordinateur - Alain Boucher9 Exemple : Reconnaissance dIris Exemple : 3 variétés d'Iris sont classifiées par la longueur et la largeur de leurs pétales virginicaversicolorsetosa Source :

10 Vision par ordinateur - Alain Boucher10 Reconnaissance des formes Nous avons donc trois classes Iris virginica, Iris versicolor, Iris setosa 1, 2 et 3 Chaque fleur est évaluée par deux descripteurs Longueur des pétales, largeur des pétales Il y a des différences entre les longueurs et largeurs des pétales des différentes variétés d'Iris. Il y a aussi de la variabilité dans une même variété d'Iris.

11 Vision par ordinateur - Alain Boucher11 Reconnaissance des formes

12 Vision par ordinateur - Alain Boucher12 Reconnaissance des formes La variété setosa est bien différenciée des deux autres variétés. Il est difficile de différencier les deux autres variétés sans erreur. Il s'agit d'un problème avec la sélection des caractéristiques pour décrire la forme. Importance de la sélection de descripteurs "descriptifs" !

13 Vision par ordinateur - Alain Boucher13 Méthodes de reconnaissance Méthodes basées sur une décision théorique Basées sur des fonctions de décision ou des fonctions discriminantes Nous devons définir des fonctions de décisions pour tester l'appartenance à chacune des classes de formes à l'étude Classificateurs par correspondances (matching) Distance minimum Corrélation Classificateurs statistiques Bayes Réseaux de neurones, logique floue, automate cellulaire, algorithme génétique, …

14 Vision par ordinateur - Alain Boucher14 Classification par distance minimale Calcul de la distance entre le vecteur de forme de l'objet inconnu et le vecteur de forme de l'objet de référence. La distance minimum est calculée selon la distance Euclidienne. Quel est le vecteur de forme de l'objet de référence ? Peut être le vecteur de forme d'un objet de référence unique Peut être le vecteur moyen d'un ensemble d'objets N j = nombre de vecteurs de forme dans la classe j

15 Vision par ordinateur - Alain Boucher15 Classification par distance minimale m 1 = (4.3, 1.3) T m 2 = (1.5, 0.3) T d1d1 d2d2 Pour un nouvel objet à reconnaître, on cherche la classe ayant la distance minimale avec lobjet. ?

16 Vision par ordinateur - Alain Boucher16 Classification par distance minimale m 1 = (4.3, 1.3) T m 2 = (1.5, 0.3) T 1 2 On peut aussi définir une frontière de décision entre les classes.

17 Vision par ordinateur - Alain Boucher17 Distance de Mahalanobis Mieux que la distance euclidienne, il est préférable dutiliser la distance de Mahalanobis : Tient compte de la variance propre à chaque caractéristique. est la matrice de covariance des caractéristiques. La matrice de covariance est très importante. Cest elle qui établit linterdépendance des données.

18 Vision par ordinateur - Alain Boucher18 Distance de Mahalanobis La distance est la même sur les contours elliptiques. Source : gel.ulaval.ca

19 Vision par ordinateur - Alain Boucher19 Classification par corrélation Comparaison de la corrélation entre une sous-image w(x,y) et une image f(x,y) w(x,y) est de dimension J x K f(x,y) est de dimension M x N J M et K N La corrélation entre f(x,y) et w(x,y) est :

20 Vision par ordinateur - Alain Boucher20 Classification par corrélation

21 Vision par ordinateur - Alain Boucher21 Classification par corrélation On recherche la corrélation maximale dans limage.

22 Vision par ordinateur - Alain Boucher22 Classification par corrélation Problème de la rotation Soit on doit "tourner" l'objet, si certaines informations permettent de connaître l'orientation Soit on doit "tourner" w(x,y) par petits incréments et tester toutes l'image plusieurs fois (360 fois ?) Problème du facteur déchelle Soit on a un indice quand à la taille de lobjet Soit on doit essayer de correler lobjet à différentes échelles

23 Vision par ordinateur - Alain Boucher23 Classificateurs statistiques - Bayes Classificateur basé sur la loi de Bayes : Connaissant les caractéristiques dune forme, quelle est la probabilité quelle appartienne à la classe i [P(classe i |caractéristiques)] ? Pour cela, nous devons connaître la fonction de probabilité des caractéristiques pour la classe i [P(caractéristiques|classe i )]. la probabilité de la classe i [P(classe i )] : permet de donner une probabilité différente selon les classe (sinon par défaut même probabilité pour toutes). la probabilité du vecteur de caractéristiques [P(caractéristiques)] est la même pour toutes les classes : on peut léliminer du problème.

24 Vision par ordinateur - Alain Boucher24 Classificateurs statistiques - Bayes Fonction de probabilité des caractéristiques = Gaussienne. On doit définir les moyennes, tel m 1 et m 2, ainsi que les écart-types, tel 1 et 2, pour chaque classe.

25 Vision par ordinateur - Alain Boucher25 Classificateurs statistiques - Bayes Classificateur Bayésien – Distribution Gaussienne Nombre dexemples de la classe i Nombre total dexemples Gaussienne multi-dimensionnelle de dimension n Matrice de covariance

26 Vision par ordinateur - Alain Boucher26 Classificateurs statistiques - Bayes Frontière de décision

27 Vision par ordinateur - Alain Boucher27 Choix des caractéristiques Le principal problème est le bon choix des caractéristiques permmettant de différencier les différentes classes. cf lexemple avec les trois classe dIris Les caractéristiques identifiées par les experts dun domaine (exemple : botanistes) ne sont pas forcément celles qui sont reconnaissables dans les images. Une méthode qui permet didentifier les caractéristiques importantes est lAnalyse en Composantes Principales (ACP).

28 Vision par ordinateur - Alain Boucher28 Analyse en Composantes Principales A partir dun nombre élevé de caractéristiques, le but de cette méthode est de réduire les calculs à un petit nombre significatif de caractéristiques. Elimine la redondance entre les caractéristiques et les caractéristiques non-significatives.

29 Vision par ordinateur - Alain Boucher29 Analyse en Composantes Principales Etape 1 Calculer la moyenne de chaque vecteur de caractéristiques. Etape 2 Soustraire la moyenne de chaque vecteur de caractéristiques. Etape 3 Calculer la matrice des covariances. Etape 4 Calculer les valeurs et vecteurs propres de la matrice de covariance. Etape 5 Ne conserver que les valeurs propres (+ vecteurs) les plus grandes. Etape 6 Projeter les données dans ce nouvel espace propre.

30 Vision par ordinateur - Alain Boucher30 Analyse en Composantes Principales Etape 1 Calculer la moyenne de chaque vecteur de caractéristiques. Source : cis.poly.edu/cs664

31 Vision par ordinateur - Alain Boucher31 Analyse en Composantes Principales Etape 2 Soustraire la moyenne de chaque vecteur de caractéristiques. Etape 3 Calculer la matrice des covariances.

32 Vision par ordinateur - Alain Boucher32 Analyse en Composantes Principales Etape 4 Calculer les valeurs et vecteurs propres de la matrice de covariance. Les vecteurs propres de la matrice de covariance représentent une base orthonormée d'axes principaux (significatifs) de lensemble des données. Chaque valeur propre exprime limportance du vecteur propre associé Plus la grande valeur propre est grande, plus le vecteur propre associé est significatif.

33 Vision par ordinateur - Alain Boucher33 Analyse en Composantes Principales Etape 5 Ne conserver que les valeurs propres (+ vecteurs) les plus grandes. Etape 6 Projetter les données dans ce nouvel espace propre.

34 Vision par ordinateur - Alain Boucher34 Analyse en Composantes Principales LAnalyse en Composantes Principales sert à optimiser les caractéristiques utilisées pour la reconnaissance. Une fois lentraînement (ou apprentissage) des données terminé, pour une nouvelle forme à reconnaître : On calcule les caractéristiques de cette forme On projette les caractéristiques dans le nouvel espace propre (espace de lACP) On calcule la distance avec chacune des classes possibles pour trouver la bonne classe dappartenance.

35 Vision par ordinateur - Alain Boucher35 Exemple : Reconnaissance de visages Ensemble dimages pour lentrainement (ou apprentissage) du système de reconnaissance. Source : cis.poly.edu/cs664

36 Vision par ordinateur - Alain Boucher36 Exemple : Reconnaissance de visages La valeur de chaque pixel peut être considéré comme une caractéristique dun vecteur. Pour une taille dimage NxM : X= { img(0,0), img(0,1), … img(0,M), img(1,0), … img(N,M) } Pour chaque image de lensemble initial, on calcule une image dans lespace de lACP. Cet espace propre identifie les caractéristiques importantes des visages. Pour une nouvelle image dune personne, on le compare aux visages existants pour reconnaître lidentité de cette personne.

37 Vision par ordinateur - Alain Boucher37 Exemple : Reconnaissance de visages Visages dans lespace propre de lACP.

38 Vision par ordinateur - Alain Boucher38 Remarques Il est bien (voire essentiel) de prévoir une classe rejet dans le système de reconnaissance. Si un objet non-identifié ou autre est présent dans limage, on veut éviter de lassimiler. Exemple : classer une orchidée comme une classe dIris dans un exemple précédent. Rien nempêche dajouter des caractéristiques qui ne sont pas dans limage pour améliorer la reconnaissance. Exemple : Connaissant la date dacquisition de limage, on utilise linformation dun calendrier de floraison des différentes fleurs pour reconnaître une fleur particulière.

39 Vision par ordinateur - Alain Boucher39 Erreurs de reconnaissance Il existe deux catégories derreurs possibles : Faux positifs (ou fausse alarme) : erreur lorsquon classe à tort un objet dans une classe. Faux négatifs (ou manque) : erreur lorsquon oublie un objet dans une classe. Selon les applications, une erreur aura plus dimportance que lautre (fonction de coût dune décision).

40 Vision par ordinateur - Alain Boucher40 Problèmes de la reconnaissance Position de la caméra (2D) Translation, rotation, facteur déchelle, étirement Position de la caméra (3D) Profondeur, orientation Variation dans léclairage, les couleurs, les ombres Occlusions Une partie de lobjet peut ne pas être visible Variations dans une classe Visages, fleurs, … tout ce qui est vivant Mouvement non-rigide Corps humain, mains, … La reconnaissance est avant tout basée sur lapparence des objets, et non pas sur leur sémantique !

41 Vision par ordinateur - Alain Boucher41 Problèmes de la reconnaissance Problème dilluminationProblème dorientation Source : cis.poly.edu/cs664


Télécharger ppt "Traitements d'images et Vision par ordinateur Reconnaissance des formes Alain Boucher - IFI"

Présentations similaires


Annonces Google