Cours 10 à 12 5-6 Éléments symboliques Découvertes États de projet 5- Extraction des éléments symboliques 5.1 Transformée de Hough 5.2 Extraction de segments de droite 5.3 Détection des contours 5.4 Détection des contours par poursuite des crêtes et vallées 5.5 Contours actifs (ou déformables) 6- Représentation des éléments symboliques

Découverte (cours 10) Horaud, R,. Monga, O., Vision par ordinateur: outils fondamentaux, 2e édition, Hermes, 1995. Paradigme de Marr Détection des contours Filtre de Deriche-Canny Segmentation Contours Régions Calibration de caméra Stéréoscopie Vision 3D SYS-844 Hiver 2005

Découverte (cours 11) B.K.P. Horn Robot Vision MIT Press et McGraw-Hill, 1986 École de Marr Contribution majeure: Shape from Shading - reconstruction 3D à partir de l’ombrage SYS-844 Hiver 2005

Découverte (cours 12) D.A. Forsyth et J. Ponce Computer Vision: A Modern Approach Prentice Hall, 2003 Couvre la majorité des divers aspects des systèmes de vision Couverture uniforme de la vision de niveau bas, moyen et haut Exemples élaborés Prix élevé: 166$ SYS-844 Hiver 2005

Chapitre 5 Extraction des éléments symboliques Un élément symbolique est un événement abstrait qui est localisé sur l’image mais qui requiert une description plus complexe que le pixel. On fait la transition, dans ce chapitre, de la vision bas-niveau (appelée aussi pré-attentive, centrée sur le pixel) vers la vision de niveau intermédiaire, centrée sur les symboles élémentaires que l’on retrouve par analyse dans l’image.

Exemples d’éléments symboliques Segments de droite Courbes Contours fermés Régions Texture Représentation des éléments symboliques Indice unique Attribut de localisation (1 au minimum) Attributs de description (e.g. rayon de courbure, pente de la droite, etc) SYS-844 Hiver 2005

5.1 Transformée de Hough But: Former une structure de ligne plus complète et plus compacte à partir d’arêtes reliées entre elles SYS-844 Hiver 2005

Principe:. Transformer une ligne. d’équation y=mx+b en un Principe: Transformer une ligne d’équation y=mx+b en un point dans l’espace de paramètres m et b. Chaque arête vote pour un candidat dans l’espace de paramètres. b m L1 P P’ L1 L2 y x L2 1 point  1 ligne 1 ligne  1 point (déf. par 2 points) (inters. de 2 lignes) SYS-844 Hiver 2005

Espace de paramètres SYS-844 Hiver 2005

Détection d’arêtes orientées 1 segment orienté  1 point n segments  1 nuage d’orientations voisines SYS-844 Hiver 2005

Algorithme Variantes Quantifier b et m  b et m H(m,b) = 0 matrice d’accumulation  i,j tel que |A(i,j)| > T H(m,b) = H(m,b) + 1  m,b tel que b= -mi + j Max. local dans H(m,b) = segments colinéaires Variantes Hough pur: 1 point image  1 ligne Arêtes |A| +   1 point orientées SYS-844 Hiver 2005

Espace de paramètres H(m,b) 1 2 b 0,25 0,5 0,75 1,25 m Espace de paramètres H(m,b) 2 3 1 SYS-844 Hiver 2005

Problème de représentation: La valeur de m devient trop importante pour des arêtes presque verticales. Algorithme modifié Paramètres: r, q Algo. Identique, avec H(r,q) SYS-844 Hiver 2005

Algorithme de Hough généralisé f(x,a) = 0 (x,a) est le vecteur de paramètres (axes dans l’espace de Hough) Talon d’achille localisation dans l’image est perdue les 2 sets (\ et \) activent le même maximum Hough. Nous aurons donc besoin de manipuler l’espace de l’image afin de connecter les segments détachés ou encore isoler les segments. SYS-844 Hiver 2005

5.2 Extraction de segments de droite Algorithme basé sur l’article: Extracting Straight Lines J.B. Burns, A. Hanson, E. Riseman IEEE Tr. PAMI, Vol. 8(4), Juillet 86, pp. 425-455 But Extraire des lignes droites significatives à partir de l’image d’éclairement SYS-844 Hiver 2005

Principe Estimé de l’orientation des gradients locaux Groupement des orientations similaires Modélisation de la surface dans le groupe comme une rampe Ligne: intersection de la rampe et du plan horizontal de hauteur Imoyen SYS-844 Hiver 2005

Représentation surfacique SYS-844 Hiver 2005

Ligne: intersection de 2 plans SYS-844 Hiver 2005

Algorithme 1: Estimé des orientations locales de gradient SYS-844 Hiver 2005

2: Formation des régions de support d’arêtes de même orientation Segmentation par partition Orientations réparties en classes Région de support: arêtes connectées  même bin de H() SYS-844 Hiver 2005

Problème des frontières: histogramme double Orientations sur 2 histogrammes Régions de support formées aves les 2 H() Chaque arête vote pour la région avec la ligne extraite la plus longue SYS-844 Hiver 2005

Problème du nombre de partitions SYS-844 Hiver 2005

3: Approximation de la représentation 3: Approximation de la représentation surfacique de l’éclairement par une surface plane. Pondération par l’amplitude du gradient Ligne: Intersection entre la surface plane et la surface horizontale dont la hauteur est la valeur moyenne pondérée de l’éclairement SYS-844 Hiver 2005

4: Mesure des attributs de la ligne Longueur Position Orientation Contraste (pente de la rampe) Région de support Paramètres du segment de ligne 5: Filtrage des attributs Permet d’isoler les longues lignes, les lignes dans une certaine orientation, courtes et à faible contraste, etc. SYS-844 Hiver 2005

Filtrage des attributs SYS-844 Hiver 2005

SYS-844 Hiver 2005

5.3 Détection des contours Principe: Un contour est un ensemble ordonné de points connectés SYS-844 Hiver 2005

Algorithme 1: Détection des arêtes locales SYS-844 Hiver 2005

2: Amincissement par suppression des non-maxima (réf. Canny, 3. 3 2: Amincissement par suppression des non-maxima (réf. Canny, 3.3.3 et Aphelion ImgEdgesThin) et seuillage SYS-844 Hiver 2005

3: Structuration des arêtes en liste chaînée semence (point de départ): arête avec le gradient d’amplitude le plus élevé Chaîne agrandie par les extrémités. Le meilleur candidat est choisi (si existant). Critères de sélection: Angle de rotation  : Angle entre l’arête orienté et l’orientation du lien Longueur du lien Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2 et g SYS-844 Hiver 2005

Exemple SYS-844 Hiver 2005

5.4 Détection des contours par poursuite des crêtes et des vallées Principe: L’image est interprétée comme une surface dans un espace 3D. éclairement  profondeur Crêtes ou vallées  désignent des contours. Les crêtes / vallées sont détectées par dérivée seconde directionnelle SYS-844 Hiver 2005

Algorithme 1: Déterminer les points locaux de grande courbure négative ou positive SYS-844 Hiver 2005

2: Structuration des contours en liste chaînée semence (point de départ): un point détecté de grande courbure (négative ou positive) Chaîne agrandie vers les 2 extrémités Critères de sélection: Angle de rotation  : Angle entre contour de crête et l’orientation du lien Longueur du lien Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2 et g SYS-844 Hiver 2005

Exemple: Image microscopique d’une plume Représentation surfacique SYS-844 Hiver 2005

Détection des crêtes et des vallées SYS-844 Hiver 2005

Formation des listes chaînées SYS-844 Hiver 2005

Mesure de la courbure La détection de contours par poursuite des crêtes et des vallées repose sur la détection de la courbure d’une surface tridimensionnelle. C’est une notion très importante en vision 3D auquelle nous nous penchons plus en détail. La notion de courbure sera explorée au laboratoire sur la numérisation 3D. SYS-844 Hiver 2005

Paramétrisation de la courbure 2 paramètres caractérisent une courbure: K: la courbure gaussienne H: la courbure moyenne 2 mesures locales permettent de calculer K et H: k1 et k2: les courbures principales de la surface, soient les courbures maximales et minimales au point d’intérêt. SYS-844 Hiver 2005

Catégories de courbure H<0 K>0 K=0 K<0 H>0 H=0 SYS-844 Hiver 2005

Mesure de la courbure Un maximum (ou minimum) de la dérivée seconde d’une courbe indique sa courbure et son point le + bas (le + haut) Courbure locale: Mesure de dérivée seconde en différents points de la surface dans des directions orthogonales s s’ Z s et s’: 2 directions orthogonales C1 et C2 : courbures au point (x,y) C1: courbure dans plan Zos C2: courbure dans plan Zos’ C2 C1 (x,y) SYS-844 Hiver 2005

Mesure de dérivée seconde pour localiser la courbure max. z C1’ C1’’ max SYS-844 Hiver 2005

Matrice de Hess Mesure locale de la courbure Matrice formée avec les dérivées secondes selon x, y et xy SYS-844 Hiver 2005

Le Hessien donne de l’information sur la courbure locale de surface (pour de faibles inclinaisons) SYS-844 Hiver 2005

Direction de courbure maximum Valeurs propres calculées à partir du Hessien Vecteur propre correspondant à la valeur propre maximale indique la direction de la crête ou de la vallée SYS-844 Hiver 2005

Algorithme pour trouver max/min de courbure (Aphelion: ImgRidgeValleyEdges) (x,y) de l’image: Calculer Trouver les valeurs propres i Trouver le vecteur propre associé au i max. Le vecteur propre pointe vers la courbure positive ou négative. SYS-844 Hiver 2005

5.5 Contours déformables Les travaux de recherche sur les contours déformables sont relativement récents et sont issus des travaux pionniers de Kass, Witkin et Terzopoulos lors d’une conférence présentée en 1987 à la première conférence internationale sur la vision informatique. Les contours déformables sont aussi appelés contours actifs et « snake » SYS-844 Hiver 2005

Objectif:. Détection des contours fermés. d’une image à partir de Objectif: Détection des contours fermés d’une image à partir de quelques points d’arête situés près du contour Principe: L’image est considérée comme une image de profondeur z=f(x,y). Représentation surfacique. Un élastique entoure le contour désiré L’énergie interne de l’élastique est minimisée SYS-844 Hiver 2005

stéréoradiographique Illustration: Reconstruction 3D du squelette Triangulation stéréoradiographique Traitement d’images Modélisation géométrique + Prochaines éditions: remplacer par un exemple plus pertinent (mars 2005) ETS, Polytechnique, LIO-CHUM, LIS3D-Ste Justine, ENSAM-Paris SYS-844 Hiver 2005

Fonctionnelle d’énergie Une fonctionnelle d’énergie est associée à chaque forme de contour. Le contour à détecter correspond à un minimum d’énergie. SYS-844 Hiver 2005

Arêtes: le contour est attiré par les arêtes de l’image. Continuité: contrainte de rigidité qui agit sur la longueur du contour. Lissage ou élasticité: contrainte pour éviter les oscillations du contour. Arêtes: le contour est attiré par les arêtes de l’image. Dans ces équations, les N points sont supposés équidistants. Sinon, il faut diviser les équations de Econt et Ecurv par h2, la distance entre deux points. SYS-844 Hiver 2005

Chapitre 6 Représentation des éléments symboliques Différents niveaux de représentation sont nécessaires dans un système de vision. Nous avons étudié le premier niveau de représentation, le niveau de l’image (d’éclairement, de niveaux de gris, de profondeur, couleur, etc.) et les divers algorithmes qui nous permettent d’en extraire des primitives.

Ces primitives doivent être ensuite regroupées pour former des caractéristiques plus abstraites qui nous permettront de les identifier. C’est la vision de niveau intermédiaire qui travaille sur des regroupements d’information qui forment des éléments symboliques.

Objectifs d’un système de vision numérique Identifier Localiser SYS-844 Hiver 2005

6.1 Vision intermédiaire bas intermédiaire symbolique SYS-844 Hiver 2005

bas intermédiaire symbolique SYS-844 Hiver 2005

Hypothèses Éléments symboliques Chiffres Niveaux d’abstraction STM Siège des connaissances STM Contrôle LTM Hypothèses Éléments symboliques Chiffres Mémoire à court terme Mécanismes de contrôle d’inférence Mémoire à long terme SYS-844 Hiver 2005

Niveaux de représentation 1: Rétino-centrique Image Régions, arêtes 2: Éléments symboliques Regroupement de primitives Lignes et courbes Contours Frontières 3: Hypothèses Détermination du contenu symbolique SYS-844 Hiver 2005

Représentations rétino-centriques Hypothèses Éléments symboliques Représentations symboliques d’événements et de caractéristiques; descriptions des événements dérivés de l’image et des caractéristiques groupement organisation Transformation Iconic -> symbol. fonctions de contrôle Représentations rétino-centriques Images et dérivées: régions, lignes, contours, surfaces, ... extraction Multi- résolution SYS-844 Hiver 2005

Opérations aux divers niveaux Algorithmes de bas niveaux Extraction des régions, lignes, surfaces ou autres événements significatifs de l’image et leurs caractéristiques Algorithmes de niveau intermédiaire de regroupement perceptuel Objets de haut-niveau ou hypothèses sur des parties d’objet bâties du haut vers le bas SYS-844 Hiver 2005

6.2 Base de données intermédiaires Quantité de données au niveau intermédiaire SYS-844 Hiver 2005

Élément symbolique Événement sur l’image qui est identifiable Les ES doivent pouvoir être localisés sur l’image et qualifiés (attributs pour les décrire) SYS-844 Hiver 2005

Base de données («tokenset») Attribut de localisation Au moins 1 est nécessaire Attributs Descriptions qualitatives ou quantitatives Chaque attribut défini n’a pas à être calculé tous en même temps SYS-844 Hiver 2005

Attribut de localisation Diverses façons de localiser un ES Localisation d’une ligne généralement décrite par un attribut de segment de droite (coord. des extrémités) Localisation d’une ligne peut tout aussi bien être décrite par la position des pixels à travers lesquels la ligne passe SYS-844 Hiver 2005

Les divers types d’attribut de localisation SYS-844 Hiver 2005

Attribut multiple de localisation SYS-844 Hiver 2005

Attributs: Exemples autre que localisation Orientation histogramme SYS-844 Hiver 2005

Types d’attributs Logique - vrai ou faux Entier - nombre entier Flottant - nombre réel Chaîne - chaîne de caractères ASCII Matrice - matrice ou vecteur de nombres réels Sous-ensemble d’éléments symboliques - ensemble (regroupement) d’éléments symboliques SYS-844 Hiver 2005