Synthèse Applications des réseaux de neurones en reconnaissance de formes et en vision par ordinateur.

Présentation au sujet: "Synthèse Applications des réseaux de neurones en reconnaissance de formes et en vision par ordinateur."— Transcription de la présentation:

1 Synthèse Applications des réseaux de neurones en reconnaissance de formes et en vision par ordinateur

2 1- Reconnaissance de formes
Extraction Système X des Y de D primitives décision Espace d'entrée Espace des primitives Espace des décisions

3 Apprentissage supervisé: rétro-propagation du gradient d’erreur

4 Sonar Travaux de Sejnowski & Gorman, 1988 Pré-traitement: TFD Apprentissage: spectres en fréquence

5 Approximation complexe: conduite d’un véhicule motorisé
à gauche à droite route + claire ou + foncée 1217 unités = 256 = 960 (dans le bleu)

6 Approximation complexe: conduite de véhicule motorisé
Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min. Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.

7 Classification de chiffres manuscrits

8

9 Classification de chiffres: Mémoire associative (réseau de Hopfield)

10 Structure du ART 1 RAZ F2 Catégories G1 G2 + - + - F1 Caractéristiques
j G1 G2 + - + - RAZ F1 Caractéristiques i La couche F1 est aussi appelée la mémoire à court terme du réseau Les connexions W représentent la mémoire à long terme du réseau Les neurones G1 et G2 ont été ajoutés au modèle ART pour la plausibilité biologique: un neurone ne peut avoir un comportement différent dans le temps par lui-même.

11  = 0,9  = 3 et plus  nouvelle catégorie dans F2
Pour un facteur de vigilance de l’ordre de 0,9, 2 classes seulement sont formées: le C et le E-F Les poids sont renforcés pour I•Exemple emmagasiné précédent

12 Classification de polices: Kohonen

13

14 Classification de lettres

15 Classification de lettres: 2 approches
Approche de type reconnaissance de forme: extraction des primitives, ou caractéristiques, suvi de classification de ces primitives Approche de type globale: l’entrée du réseau est constituée de toute la lettre

16 2- Vision par ordinateur

17 Modèle algorihmique du système de vision

18 2.1 Extraction des primitives
1- 3- 2- 4-

19 Caractéristiques de scène projetées sur l’image d’éclairement

20 Approximation du gradient

21 Détection des arêtes orientées

22 Système BCS de Grossberg

23 Extraction par apprentissage supervisé
Extraction des primitives Sous-image pour l’apprentissage

24 1- Choix d’une base d’apprentissage
586 vecteurs 3x3 d’apprentissage sont sélectionnés (distance euclidienne plus grande que 0,17)

25 2- Construction du réseau
Sortie (arête) Réseau à rétro-propagation NI = 3x3 Nh = 6 No = 1 Couche cachée Entrée

26 3- Apprentissage 4- Généralisation

27 2.2 Stéréoscopie 

28 Géométrie

29 Mesure de disparité

30 Compétition entre les neurones de disparité

31 Mesure de la disparité résultante

32 3- Télédétection Cellular Neural Network for Automated Detection
of Geological Lineaments on Radarsat Images Richard Lepage, Rouhana G. Rouhana, Benoît St-Onge, Rita Noumeir, and Robert Desjardins IEEE Transactions on Geoscience and Remote Sensing, Vol. 38, No. 3, p , May 2000

33 Linéaments Longs éléments rectilignes ou curvilignes indiquant des
phénomènes géologiques Qualité visuelle Direction consistante Continuité sur une longue distance Here is an exemple of a remotely sensed image taken from the Radarsat Canadian satellite. Yellow lines on the picture correspond to lineaments as measured on the ground by a Geologist. These yellow lines correspond to long, linear segments which may be occluded by natural obstacle like a mountain. Lineaments to be detected on the image are characterized by: Visual quality insuring a sharp gray level transition The edgels forming a lineament obey roughly the same orientation. No adrupt orientation change. Lineaments are long and continuous over a large area. Lines can be linked together to compensate for occluded parts of the lineament. 5

34 Réseau neuronique cellulaire
Grande matrice de cellules identiques Connexions locales avec les cellules voisines Cellules adjacentes: effet direct Cellules non adjacentes: effet indirect The Processing Element is a first-order dynamic system. The input connections to the PE are from the cells around the PE, only. This local connectivity is particularly appropriate for vision problems. Avantage : Adapté aux algorithmes de vision 8

35 Structure en treillis du réseau cellulaire

36 Élément de calcul à chaque noeud

37 Nœud à chaque pixel

38 Modèle à grand voisinage circulaire
Chaque pixel: induit un champs de gradient dans un voisinage circulaire applique un effet d’inhibition sur lui même Le rayon de voisinage diminue avec une certaine vitesse et un certain pas

39 Champ d’induction circulaire
e' = e cos  C A e e’ P A cell of interest induces a gradient field in a circular neighborhood. The strength of the induced field is maximum along the line perpendicular to the gradient vector at this location. This is the most probable location of the corresonding line or edge. The strength decreases to zero as cos , where is the angle between the gradient vector at the origin and the induced one. D B 10

40 Champ directionnel d’induction: comparaison avec le champ circulaire
Sélectivité circulaire: e' = e cos  e’<< e’ e’ = e’ Q A C Sélectivité directionnelle: e' = e cos3  I e The new directional rule permits edge and line thinning. But a much more important effect is to allow a much larger radius for the linking process, and so fragmented lineament can be restituted and represents a single symbolic feature. II P D B 11

41 Résultats: région de Charlevoix
Charlevoix is a region near Quebec City, in Canada. This region features the presence of a very large and old crater, which builds up many geological lineaments when it falls down the earth. Because of that, this region is earthquake-sensitive and a careful geomorphological study of the temporal evolution of the lineaments may help in predicting earthquake. 12

42 Image Radarsat dimensions : 768x768 précision : 9m
Results by hand, on the ground. 14

43 Détection classique: masque de Sobel directionnel
Traditional lineament detection method. Too many edgels. Lineaments very difficult to differentiate from noisy edgels. 15

44 Détection par réseau neuronique cellulaire à induction directionnelle
Irrelevant edgels, those not belonging to long linear feature, disapear because they are not supported by similar edgels in the vicinty. Lineaments are detected most of the time, except that a physical lineament appear as many detected lineaments. This is because natural occlusions are usually fairly large, and the neighborhood radius can't be that large. Lineaments lying in about the same direction as the Radarsat beam can't be efficiently detected. 16

45 4- Inspection automatisée
Projet de coopération franco-québécoise 97-99 ÉTS - INSA de Lyon

46 Contexte de l'inspection
 géon CA O  géon entraî- CCD CAMÉRA nement 3D INSPECTION Mémoire associative Base de données Modèles CAO Descriptions géons Images 2D Images 3D Rapport d'inspection

47 Construction d’une banque de données
Étapes Construction d’une banque de données choix de pièces étalons représentations CAO volumétrique (CSG) surfacique (STL et B-Rep) conversion en géons (à partir du format neutre de fichier) image 3D des objets balayage laser (CNRC) machine à mesurer coordonnées

48 Extraction des géons à partir de la caméra CCD Mise en registre
représentation CAO (STL) et image 3D représentation CAO (NURBS) et image 3D Sélection rapide par mémorisation associative des géons constituants

49 Base de données CCD Descriptions géons Base de données modèles CAO
 géon Descriptions géons entraî- CCD CAMÉRA nement 3D INSPECTION Mémoire associative Base de données modèles CAO Images 2D Images 3D

50 Pièces de la base de données

51 Représentation visuelle par géons
courbe creux COURBURE DE L'AXE MATÉRIALITÉ courbes réflective droit solide réflective et droites TYPE D'ARÊTES GÉNÉRATRICES SYMÉTRIE DE LA SECTION rotationnelle constante asymétrie FONCTION DE BALAYAGE hybrides variable

52 Exemple de décomposition en géons
au dessus au dessus au dessus

53 Attributs des géons Type positif Axe droit Symétrie du profil
négatif Axe droit incurvé Symétrie du profil réflective réflective et rotationnelle asymétrique

54 Types d'arêtes du profil droites
courbes hybrides Dimension du profil contante variable

55 Attribut de connectivité entre deux géons
1: axes colinéaires (géons bout-à-bout) 2: axes à angle (jonction en T) 3: axes parallèles (côte à côte, inclusif) 4: axes croisés (jonction en X) 5: axes confondus (géons concentriques)

56 Extraction des géons d’une image 2D
 géon CCD Mémoire associative Base de données modèles CAO

57 Images 2D Problématique Occlusions
Réflets de lumière sur les pièces métalliques Jonctions manquantes, traits discontinus Géons de forme imprévisible :

58 Conversion CAO en géons
 géon Descriptions géons entraî- nement Base de données modèles CAO Images 2D Images 3D

59 Entrée : fichier de données CAO
format neutre (logiciel de conception assistée par ordinateur ProEngineer) B-Rep F(E) surfaces frontières arêtes limitrophes Conversion F(E) à F(L(E(V))) F surface L boucles E arêtes V sommet

60 Extraction des géons par analyse des boucles internes
un géon correspond à un élément symbolique dans KBV attributs relation spatiale avec les voisins

61 Mémoire associative CCD Base de données modèles CAO 2D CA O   géon
entraî- CCD nement Mémoire associative Base de données modèles CAO

62 Type : Analyse syntaxique + Kohonen
Algorithme Shift-Reduce Ex.: The boy who liked the girl | | article nom \ / sujet Réseau de type SARDSRN Utilise une carte topologique de Kohonen pour représenter les divers états du système Décroissance temporelle de l’activation des anciennes instances

63 Réseau pour tenir compte de la connectivité
Cartes Kohonen Attributs des géons Attributs de connectivité Couche cachée Copie

64 Apprentissage La base d'apprentissage est constituée de l'ensemble des modèles CAO convertis en modèle visuel perceptuel par géons Sortie Chaque neurone de sortie pointe vers un des modèles CAO de la base de données. Les neurones activés représentent les modèles CAO les plus probables.

65 Activation Progressive. Les neurones de sortie s'activent de plus en plus au fur et à mesure que l'information se précise à l'entrée. L'information à l'entrée est fournie graduellement, au rythme de l'extraction des géons dans l'image d'entrée.

66 Inspection Rapport d'inspection Base de données Modèles CAO CAMÉRA 3D

67 Mise en registre Les mesures 3D provenant de la caméra 3D par balayage laser sont comparées avec chacun des modèles CAO identifiés par le réseau associatif Chacun des modèles CAO est transformé pour minimiser un signal d'appariement Un rapport d'inspection est généré à la suite des mesures de comparaison avec le modèle CAO finalement sélectionné

68 Vérification de tolérance
Planéité Parallélisme Perpendicularité, inclinaison, forme Numérisation Trajectoire optimale de la caméra (position optimale de la tête de numérisation)