Synthèse Applications des réseaux de neurones en reconnaissance de formes et en vision par ordinateur

1- Reconnaissance de formes Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions

Apprentissage supervisé: rétro-propagation du gradient d’erreur

Sonar Travaux de Sejnowski & Gorman, 1988 Pré-traitement: TFD Apprentissage: spectres en fréquence

Approximation complexe: conduite d’un véhicule motorisé à gauche à droite route + claire ou + foncée 1217 unités = 256 = 960 (dans le bleu)

Approximation complexe: conduite de véhicule motorisé Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min. Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.

Classification de chiffres manuscrits

Classification de chiffres: Mémoire associative (réseau de Hopfield)

Structure du ART 1 RAZ F2 Catégories G1 G2 + - + - F1 Caractéristiques j G1 G2 + - + - RAZ F1 Caractéristiques i La couche F1 est aussi appelée la mémoire à court terme du réseau Les connexions W représentent la mémoire à long terme du réseau Les neurones G1 et G2 ont été ajoutés au modèle ART pour la plausibilité biologique: un neurone ne peut avoir un comportement différent dans le temps par lui-même.

 = 0,9  = 3 et plus  nouvelle catégorie dans F2 Pour un facteur de vigilance de l’ordre de 0,9, 2 classes seulement sont formées: le C et le E-F Les poids sont renforcés pour I•Exemple emmagasiné précédent

Classification de polices: Kohonen

Classification de lettres

Classification de lettres: 2 approches Approche de type reconnaissance de forme: extraction des primitives, ou caractéristiques, suvi de classification de ces primitives Approche de type globale: l’entrée du réseau est constituée de toute la lettre

2- Vision par ordinateur

Modèle algorihmique du système de vision

2.1 Extraction des primitives 1- 3- 2- 4-

Caractéristiques de scène projetées sur l’image d’éclairement

Approximation du gradient

Détection des arêtes orientées

Système BCS de Grossberg

Extraction par apprentissage supervisé Extraction des primitives Sous-image pour l’apprentissage

1- Choix d’une base d’apprentissage 586 vecteurs 3x3 d’apprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)

2- Construction du réseau Sortie (arête) Réseau à rétro-propagation NI = 3x3 Nh = 6 No = 1 Couche cachée Entrée

3- Apprentissage 4- Généralisation

2.2 Stéréoscopie 

Géométrie

Mesure de disparité

Compétition entre les neurones de disparité

Mesure de la disparité résultante

3- Télédétection Cellular Neural Network for Automated Detection of Geological Lineaments on Radarsat Images Richard Lepage, Rouhana G. Rouhana, Benoît St-Onge, Rita Noumeir, and Robert Desjardins IEEE Transactions on Geoscience and Remote Sensing, Vol. 38, No. 3, p. 1224-1233, May 2000

Linéaments Longs éléments rectilignes ou curvilignes indiquant des phénomènes géologiques Qualité visuelle Direction consistante Continuité sur une longue distance Here is an exemple of a remotely sensed image taken from the Radarsat Canadian satellite. Yellow lines on the picture correspond to lineaments as measured on the ground by a Geologist. These yellow lines correspond to long, linear segments which may be occluded by natural obstacle like a mountain. Lineaments to be detected on the image are characterized by: Visual quality insuring a sharp gray level transition The edgels forming a lineament obey roughly the same orientation. No adrupt orientation change. Lineaments are long and continuous over a large area. Lines can be linked together to compensate for occluded parts of the lineament. 5

Réseau neuronique cellulaire Grande matrice de cellules identiques Connexions locales avec les cellules voisines Cellules adjacentes: effet direct Cellules non adjacentes: effet indirect The Processing Element is a first-order dynamic system. The input connections to the PE are from the cells around the PE, only. This local connectivity is particularly appropriate for vision problems. Avantage : Adapté aux algorithmes de vision 8

Structure en treillis du réseau cellulaire

Élément de calcul à chaque noeud

Nœud à chaque pixel

Modèle à grand voisinage circulaire Chaque pixel: induit un champs de gradient dans un voisinage circulaire applique un effet d’inhibition sur lui même Le rayon de voisinage diminue avec une certaine vitesse et un certain pas

Champ d’induction circulaire e' = e cos  C A e e’ P A cell of interest induces a gradient field in a circular neighborhood. The strength of the induced field is maximum along the line perpendicular to the gradient vector at this location. This is the most probable location of the corresonding line or edge. The strength decreases to zero as cos , where is the angle between the gradient vector at the origin and the induced one. D B 10

Champ directionnel d’induction: comparaison avec le champ circulaire Sélectivité circulaire: e' = e cos  e’<< e’ e’ = e’ Q A C Sélectivité directionnelle: e' = e cos3  I e The new directional rule permits edge and line thinning. But a much more important effect is to allow a much larger radius for the linking process, and so fragmented lineament can be restituted and represents a single symbolic feature. II P D B 11

Résultats: région de Charlevoix Charlevoix is a region near Quebec City, in Canada. This region features the presence of a very large and old crater, which builds up many geological lineaments when it falls down the earth. Because of that, this region is earthquake-sensitive and a careful geomorphological study of the temporal evolution of the lineaments may help in predicting earthquake. 12

Image Radarsat dimensions : 768x768 précision : 9m Results by hand, on the ground. 14

Détection classique: masque de Sobel directionnel Traditional lineament detection method. Too many edgels. Lineaments very difficult to differentiate from noisy edgels. 15

Détection par réseau neuronique cellulaire à induction directionnelle Irrelevant edgels, those not belonging to long linear feature, disapear because they are not supported by similar edgels in the vicinty. Lineaments are detected most of the time, except that a physical lineament appear as many detected lineaments. This is because natural occlusions are usually fairly large, and the neighborhood radius can't be that large. Lineaments lying in about the same direction as the Radarsat beam can't be efficiently detected. 16

4- Inspection automatisée Projet de coopération franco-québécoise 97-99 ÉTS - INSA de Lyon

Contexte de l'inspection  géon CA O  géon entraî- CCD CAMÉRA nement 3D INSPECTION Mémoire associative Base de données Modèles CAO Descriptions géons Images 2D Images 3D Rapport d'inspection

Construction d’une banque de données Étapes Construction d’une banque de données choix de pièces étalons représentations CAO volumétrique (CSG) surfacique (STL et B-Rep) conversion en géons (à partir du format neutre de fichier) image 3D des objets balayage laser (CNRC) machine à mesurer coordonnées

Extraction des géons à partir de la caméra CCD Mise en registre représentation CAO (STL) et image 3D représentation CAO (NURBS) et image 3D Sélection rapide par mémorisation associative des géons constituants

Base de données CCD Descriptions géons Base de données modèles CAO  géon Descriptions géons entraî- CCD CAMÉRA nement 3D INSPECTION Mémoire associative Base de données modèles CAO Images 2D Images 3D

Pièces de la base de données

Représentation visuelle par géons courbe creux COURBURE DE L'AXE MATÉRIALITÉ courbes réflective droit solide réflective et droites TYPE D'ARÊTES GÉNÉRATRICES SYMÉTRIE DE LA SECTION rotationnelle constante asymétrie FONCTION DE BALAYAGE hybrides variable

Exemple de décomposition en géons au dessus au dessus au dessus

Attributs des géons Type positif Axe droit Symétrie du profil négatif Axe droit incurvé Symétrie du profil réflective réflective et rotationnelle asymétrique

Types d'arêtes du profil droites courbes hybrides Dimension du profil contante variable

Attribut de connectivité entre deux géons 1: axes colinéaires (géons bout-à-bout) 2: axes à angle (jonction en T) 3: axes parallèles (côte à côte, inclusif) 4: axes croisés (jonction en X) 5: axes confondus (géons concentriques)

Extraction des géons d’une image 2D  géon CCD Mémoire associative Base de données modèles CAO

Images 2D Problématique Occlusions Réflets de lumière sur les pièces métalliques Jonctions manquantes, traits discontinus Géons de forme imprévisible :

Conversion CAO en géons  géon Descriptions géons entraî- nement Base de données modèles CAO Images 2D Images 3D

Entrée : fichier de données CAO format neutre (logiciel de conception assistée par ordinateur ProEngineer) B-Rep F(E) surfaces frontières arêtes limitrophes Conversion F(E) à F(L(E(V))) F surface L boucles E arêtes V sommet

Extraction des géons par analyse des boucles internes un géon correspond à un élément symbolique dans KBV attributs relation spatiale avec les voisins

Mémoire associative CCD Base de données modèles CAO 2D CA O   géon entraî- CCD nement Mémoire associative Base de données modèles CAO

Type : Analyse syntaxique + Kohonen Algorithme Shift-Reduce Ex.: The boy who liked the girl | | article nom \ / sujet Réseau de type SARDSRN Utilise une carte topologique de Kohonen pour représenter les divers états du système Décroissance temporelle de l’activation des anciennes instances

Réseau pour tenir compte de la connectivité Cartes Kohonen Attributs des géons Attributs de connectivité Couche cachée Copie

Apprentissage La base d'apprentissage est constituée de l'ensemble des modèles CAO convertis en modèle visuel perceptuel par géons Sortie Chaque neurone de sortie pointe vers un des modèles CAO de la base de données. Les neurones activés représentent les modèles CAO les plus probables.

Activation Progressive. Les neurones de sortie s'activent de plus en plus au fur et à mesure que l'information se précise à l'entrée. L'information à l'entrée est fournie graduellement, au rythme de l'extraction des géons dans l'image d'entrée.

Inspection Rapport d'inspection Base de données Modèles CAO CAMÉRA 3D

Mise en registre Les mesures 3D provenant de la caméra 3D par balayage laser sont comparées avec chacun des modèles CAO identifiés par le réseau associatif Chacun des modèles CAO est transformé pour minimiser un signal d'appariement Un rapport d'inspection est généré à la suite des mesures de comparaison avec le modèle CAO finalement sélectionné

Vérification de tolérance Planéité Parallélisme Perpendicularité, inclinaison, forme Numérisation Trajectoire optimale de la caméra (position optimale de la tête de numérisation)