Cours 10 à Éléments symboliques

Présentation au sujet: "Cours 10 à Éléments symboliques"— Transcription de la présentation:

1 Cours 10 à 12 5-6 Éléments symboliques
Découvertes États de projet 5- Extraction des éléments symboliques 5.1 Transformée de Hough 5.2 Extraction de segments de droite 5.3 Détection des contours 5.4 Détection des contours par poursuite des crêtes et vallées 5.5 Contours actifs (ou déformables) 6- Représentation des éléments symboliques

2 Découverte (cours 10) Horaud, R,. Monga, O., Vision par ordinateur: outils fondamentaux, e édition, Hermes, 1995. Paradigme de Marr Détection des contours Filtre de Deriche-Canny Segmentation Contours Régions Calibration de caméra Stéréoscopie Vision 3D SYS-844 Hiver 2005

3 Découverte (cours 11) B.K.P. Horn Robot Vision
MIT Press et McGraw-Hill, 1986 École de Marr Contribution majeure: Shape from Shading - reconstruction 3D à partir de l’ombrage SYS-844 Hiver 2005

4 Découverte (cours 12) D.A. Forsyth et J. Ponce
Computer Vision: A Modern Approach Prentice Hall, 2003 Couvre la majorité des divers aspects des systèmes de vision Couverture uniforme de la vision de niveau bas, moyen et haut Exemples élaborés Prix élevé: 166$ SYS-844 Hiver 2005

5 Chapitre 5 Extraction des éléments symboliques
Un élément symbolique est un événement abstrait qui est localisé sur l’image mais qui requiert une description plus complexe que le pixel. On fait la transition, dans ce chapitre, de la vision bas-niveau (appelée aussi pré-attentive, centrée sur le pixel) vers la vision de niveau intermédiaire, centrée sur les symboles élémentaires que l’on retrouve par analyse dans l’image.

6 Exemples d’éléments symboliques
Segments de droite Courbes Contours fermés Régions Texture Représentation des éléments symboliques Indice unique Attribut de localisation (1 au minimum) Attributs de description (e.g. rayon de courbure, pente de la droite, etc) SYS-844 Hiver 2005

7 5.1 Transformée de Hough But: Former une structure de ligne plus complète et plus compacte à partir d’arêtes reliées entre elles SYS-844 Hiver 2005

8 Principe:. Transformer une ligne. d’équation y=mx+b en un
Principe: Transformer une ligne d’équation y=mx+b en un point dans l’espace de paramètres m et b. Chaque arête vote pour un candidat dans l’espace de paramètres. b m L1 P P’ L1 L2 y x L2 1 point  1 ligne 1 ligne  1 point (déf. par 2 points) (inters. de 2 lignes) SYS-844 Hiver 2005

9 Espace de paramètres SYS-844 Hiver 2005

10 Détection d’arêtes orientées
1 segment orienté  1 point n segments  1 nuage d’orientations voisines SYS-844 Hiver 2005

11 Algorithme Variantes Quantifier b et m  b et m
H(m,b) = 0 matrice d’accumulation  i,j tel que |A(i,j)| > T H(m,b) = H(m,b) + 1  m,b tel que b= -mi + j Max. local dans H(m,b) = segments colinéaires Variantes Hough pur: 1 point image  1 ligne Arêtes |A| +   1 point orientées SYS-844 Hiver 2005

12 Espace de paramètres H(m,b)
1 2 b 0,25 0,5 0,75 1,25 m Espace de paramètres H(m,b) 2 3 1 SYS-844 Hiver 2005

13 Problème de représentation: La valeur de m devient trop importante pour des arêtes presque verticales. Algorithme modifié Paramètres: r, q Algo. Identique, avec H(r,q) SYS-844 Hiver 2005

14 Algorithme de Hough généralisé
f(x,a) = 0 (x,a) est le vecteur de paramètres (axes dans l’espace de Hough) Talon d’achille localisation dans l’image est perdue les 2 sets (\ et \) activent le même maximum Hough. Nous aurons donc besoin de manipuler l’espace de l’image afin de connecter les segments détachés ou encore isoler les segments. SYS-844 Hiver 2005

15 5.2 Extraction de segments de droite
Algorithme basé sur l’article: Extracting Straight Lines J.B. Burns, A. Hanson, E. Riseman IEEE Tr. PAMI, Vol. 8(4), Juillet 86, pp But Extraire des lignes droites significatives à partir de l’image d’éclairement SYS-844 Hiver 2005

16 Principe Estimé de l’orientation des gradients locaux
Groupement des orientations similaires Modélisation de la surface dans le groupe comme une rampe Ligne: intersection de la rampe et du plan horizontal de hauteur Imoyen SYS-844 Hiver 2005

17 Représentation surfacique
SYS-844 Hiver 2005

18 Ligne: intersection de 2 plans
SYS-844 Hiver 2005

19 Algorithme 1: Estimé des orientations locales de gradient SYS-844
Hiver 2005

20 2: Formation des régions de support d’arêtes de même orientation
Segmentation par partition Orientations réparties en classes Région de support: arêtes connectées  même bin de H() SYS-844 Hiver 2005

21 Problème des frontières: histogramme double
Orientations sur 2 histogrammes Régions de support formées aves les 2 H() Chaque arête vote pour la région avec la ligne extraite la plus longue SYS-844 Hiver 2005

22 Problème du nombre de partitions
SYS-844 Hiver 2005

23 3: Approximation de la représentation
3: Approximation de la représentation surfacique de l’éclairement par une surface plane Pondération par l’amplitude du gradient Ligne: Intersection entre la surface plane et la surface horizontale dont la hauteur est la valeur moyenne pondérée de l’éclairement SYS-844 Hiver 2005

24 4: Mesure des attributs de la ligne
Longueur Position Orientation Contraste (pente de la rampe) Région de support Paramètres du segment de ligne 5: Filtrage des attributs Permet d’isoler les longues lignes, les lignes dans une certaine orientation, courtes et à faible contraste, etc. SYS-844 Hiver 2005

25 Filtrage des attributs
SYS-844 Hiver 2005

26 SYS-844 Hiver 2005

27 5.3 Détection des contours
Principe: Un contour est un ensemble ordonné de points connectés SYS-844 Hiver 2005

28 Algorithme 1: Détection des arêtes locales SYS-844 Hiver 2005

29 2: Amincissement par suppression des non-maxima (réf. Canny, 3. 3
2: Amincissement par suppression des non-maxima (réf. Canny, et Aphelion ImgEdgesThin) et seuillage SYS-844 Hiver 2005

30 3: Structuration des arêtes en liste chaînée
semence (point de départ): arête avec le gradient d’amplitude le plus élevé Chaîne agrandie par les extrémités. Le meilleur candidat est choisi (si existant). Critères de sélection: Angle de rotation  : Angle entre l’arête orienté et l’orientation du lien Longueur du lien Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2 et g SYS-844 Hiver 2005

31 Exemple SYS-844 Hiver 2005

32 5.4 Détection des contours par poursuite des crêtes et des vallées
Principe: L’image est interprétée comme une surface dans un espace 3D. éclairement  profondeur Crêtes ou vallées  désignent des contours. Les crêtes / vallées sont détectées par dérivée seconde directionnelle SYS-844 Hiver 2005

33 Algorithme 1: Déterminer les points locaux de grande courbure négative ou positive SYS-844 Hiver 2005

34 2: Structuration des contours en liste chaînée
semence (point de départ): un point détecté de grande courbure (négative ou positive) Chaîne agrandie vers les 2 extrémités Critères de sélection: Angle de rotation  : Angle entre contour de crête et l’orientation du lien Longueur du lien Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2 et g SYS-844 Hiver 2005

35 Exemple: Image microscopique d’une plume
Représentation surfacique SYS-844 Hiver 2005

36 Détection des crêtes et des vallées
SYS-844 Hiver 2005

37 Formation des listes chaînées
SYS-844 Hiver 2005

38 Mesure de la courbure La détection de contours par poursuite des crêtes et des vallées repose sur la détection de la courbure d’une surface tridimensionnelle. C’est une notion très importante en vision 3D auquelle nous nous penchons plus en détail. La notion de courbure sera explorée au laboratoire sur la numérisation 3D. SYS-844 Hiver 2005

39 Paramétrisation de la courbure
2 paramètres caractérisent une courbure: K: la courbure gaussienne H: la courbure moyenne 2 mesures locales permettent de calculer K et H: k1 et k2: les courbures principales de la surface, soient les courbures maximales et minimales au point d’intérêt. SYS-844 Hiver 2005

40 Catégories de courbure
H<0 K>0 K=0 K<0 H>0 H=0 SYS-844 Hiver 2005

41 Mesure de la courbure Un maximum (ou minimum) de la dérivée seconde d’une courbe indique sa courbure et son point le + bas (le + haut) Courbure locale: Mesure de dérivée seconde en différents points de la surface dans des directions orthogonales s s’ Z s et s’: 2 directions orthogonales C1 et C2 : courbures au point (x,y) C1: courbure dans plan Zos C2: courbure dans plan Zos’ C2 C1 (x,y) SYS-844 Hiver 2005

42 Mesure de dérivée seconde pour localiser la courbure max.
z C1’ C1’’ max SYS-844 Hiver 2005

43 Matrice de Hess Mesure locale de la courbure
Matrice formée avec les dérivées secondes selon x, y et xy SYS-844 Hiver 2005

44 Le Hessien donne de l’information sur la courbure locale de surface (pour de faibles inclinaisons)
SYS-844 Hiver 2005

45 Direction de courbure maximum
Valeurs propres calculées à partir du Hessien Vecteur propre correspondant à la valeur propre maximale indique la direction de la crête ou de la vallée SYS-844 Hiver 2005

46 Algorithme pour trouver max/min de courbure (Aphelion: ImgRidgeValleyEdges)
(x,y) de l’image: Calculer Trouver les valeurs propres i Trouver le vecteur propre associé au i max. Le vecteur propre pointe vers la courbure positive ou négative. SYS-844 Hiver 2005

47 5.5 Contours déformables Les travaux de recherche sur les contours déformables sont relativement récents et sont issus des travaux pionniers de Kass, Witkin et Terzopoulos lors d’une conférence présentée en 1987 à la première conférence internationale sur la vision informatique. Les contours déformables sont aussi appelés contours actifs et « snake » SYS-844 Hiver 2005

48 Objectif:. Détection des contours fermés. d’une image à partir de
Objectif: Détection des contours fermés d’une image à partir de quelques points d’arête situés près du contour Principe: L’image est considérée comme une image de profondeur z=f(x,y). Représentation surfacique. Un élastique entoure le contour désiré L’énergie interne de l’élastique est minimisée SYS-844 Hiver 2005

49 stéréoradiographique
Illustration: Reconstruction 3D du squelette Triangulation stéréoradiographique Traitement d’images Modélisation géométrique + Prochaines éditions: remplacer par un exemple plus pertinent (mars 2005) ETS, Polytechnique, LIO-CHUM, LIS3D-Ste Justine, ENSAM-Paris SYS-844 Hiver 2005

50 Fonctionnelle d’énergie
Une fonctionnelle d’énergie est associée à chaque forme de contour. Le contour à détecter correspond à un minimum d’énergie. SYS-844 Hiver 2005

51 Arêtes: le contour est attiré par les arêtes de l’image.
Continuité: contrainte de rigidité qui agit sur la longueur du contour. Lissage ou élasticité: contrainte pour éviter les oscillations du contour. Arêtes: le contour est attiré par les arêtes de l’image. Dans ces équations, les N points sont supposés équidistants. Sinon, il faut diviser les équations de Econt et Ecurv par h2, la distance entre deux points. SYS-844 Hiver 2005

52 Chapitre 6 Représentation des éléments symboliques
Différents niveaux de représentation sont nécessaires dans un système de vision. Nous avons étudié le premier niveau de représentation, le niveau de l’image (d’éclairement, de niveaux de gris, de profondeur, couleur, etc.) et les divers algorithmes qui nous permettent d’en extraire des primitives.

53 Ces primitives doivent être ensuite regroupées pour former des caractéristiques plus abstraites qui nous permettront de les identifier. C’est la vision de niveau intermédiaire qui travaille sur des regroupements d’information qui forment des éléments symboliques.

54 Objectifs d’un système de vision numérique
Identifier Localiser SYS-844 Hiver 2005

55 6.1 Vision intermédiaire bas intermédiaire symbolique SYS-844
Hiver 2005

56 bas intermédiaire symbolique SYS-844 Hiver 2005

57 Hypothèses Éléments symboliques Chiffres Niveaux d’abstraction STM
Siège des connaissances STM Contrôle LTM Hypothèses Éléments symboliques Chiffres Mémoire à court terme Mécanismes de contrôle d’inférence Mémoire à long terme SYS-844 Hiver 2005

58 Niveaux de représentation
1: Rétino-centrique Image Régions, arêtes 2: Éléments symboliques Regroupement de primitives Lignes et courbes Contours Frontières 3: Hypothèses Détermination du contenu symbolique SYS-844 Hiver 2005

59 Représentations rétino-centriques
Hypothèses Éléments symboliques Représentations symboliques d’événements et de caractéristiques; descriptions des événements dérivés de l’image et des caractéristiques groupement organisation Transformation Iconic -> symbol. fonctions de contrôle Représentations rétino-centriques Images et dérivées: régions, lignes, contours, surfaces, ... extraction Multi- résolution SYS-844 Hiver 2005

60 Opérations aux divers niveaux
Algorithmes de bas niveaux Extraction des régions, lignes, surfaces ou autres événements significatifs de l’image et leurs caractéristiques Algorithmes de niveau intermédiaire de regroupement perceptuel Objets de haut-niveau ou hypothèses sur des parties d’objet bâties du haut vers le bas SYS-844 Hiver 2005

61 6.2 Base de données intermédiaires
Quantité de données au niveau intermédiaire SYS-844 Hiver 2005

62 Élément symbolique Événement sur l’image qui est identifiable
Les ES doivent pouvoir être localisés sur l’image et qualifiés (attributs pour les décrire) SYS-844 Hiver 2005

63 Base de données («tokenset»)
Attribut de localisation Au moins 1 est nécessaire Attributs Descriptions qualitatives ou quantitatives Chaque attribut défini n’a pas à être calculé tous en même temps SYS-844 Hiver 2005

64 Attribut de localisation
Diverses façons de localiser un ES Localisation d’une ligne généralement décrite par un attribut de segment de droite (coord. des extrémités) Localisation d’une ligne peut tout aussi bien être décrite par la position des pixels à travers lesquels la ligne passe SYS-844 Hiver 2005

65 Les divers types d’attribut de localisation
SYS-844 Hiver 2005

66 Attribut multiple de localisation
SYS-844 Hiver 2005

67 Attributs: Exemples autre que localisation
Orientation histogramme SYS-844 Hiver 2005

68 Types d’attributs Logique - vrai ou faux Entier - nombre entier
Flottant - nombre réel Chaîne - chaîne de caractères ASCII Matrice - matrice ou vecteur de nombres réels Sous-ensemble d’éléments symboliques - ensemble (regroupement) d’éléments symboliques SYS-844 Hiver 2005