Systèmes ADAS: Détection de panneaux d’arrêt PIF6004 Sujets Spéciaux en informatique II Systèmes ADAS: Détection de panneaux d’arrêt Sujets Introduction Détection des panneaux d’arrêt

Introduction Système ADAS: Ce type de système sont conçus pour augmenter la sécurité routière Ces systèmes assistent les conducteurs dans leurs tâches de conduites, augmentant ainsi le niveau de sécurité et le niveau de stress inhérent à la conduite Les véhicules moteurs offrent maintenant ces systèmes: Antilock Braking System, Adaptive Cruise Control …..

Introduction Les véhicules moteurs offrent maintenant ces systèmes: Blind Spot Detection, Driver Drowsiness Detection, Electronic Stability Control, Intelligent Speed Assistance, Lane Departure Warning/Assist systems, Pedestrian Detection …..

Introduction Les véhicules moteurs offrent maintenant ces systèmes: Rear Cross Traffic Alert, Traffic Sign Recognition,

Introduction Advanced Driver Assistance Systems (ADAS): taches de conduite

Traffic Sign Recognition: Détection des panneaux d’arrêt La reconnaissance de panneaux de signalisation comme les panneaux d’arrêt peut s’effectuer en deux phases: Segmentation d’image pour l’extraction d’objets octogonaux de couleur rouge (forme) Validation des candidats octogonaux par comparaison à un modèle de panneaux d’arrêt Modèle de référence

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection Un coin est une position où la variation d’intensité est grande, cette position correspond à une maximisation de E(u, v) et plus spécifiquement:

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection E(u, v) devient: Quand R > Scorner alors un coin est détecté à la position (u, v)

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection Interprétations possibles des valeurs de R

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection Application (python)

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Corner detection Application (python)

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) : Le Harris Corner detector est invariant en rotation mais pas aux changements d’échelle

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) Étape 1: Détection des extrema dans l’espace d’échelle DOG est comme le LOG (Laplacian of Gaussian) et calcul la dérivée seconde

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) Étape 1: Détection des extrema dans l’espace d’échelle

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) Étape 1: Détection des extrema dans l’espace d’échelle

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) Étape 2: Détection des points principaux Les points détectés en 1) sont analysés en calculant une matrice Hessienne comme avec le Détecteur de Harris, les points avec un faible contraste ou appartenant aux contours sont éliminés Étape 3: Assignation de l’orientation Les points résultats de 2) servent ensuite pour calculer le gradient

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform) Étape 4: Un voisinage de 16x16 autour de chaque “keypoint” est créer et divisé en 16 sub-blocks de 4x4. Pour chaque sub-block, un histogramme d’orientation (HOG) de 8 bins est créé. Un total de 128 bins (valeurs d’orientation) sont disponibles. Ce vecteur devient la représentation du descripteur de keypoint.

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform)

Traffic Sign Recognition: Détection des panneaux d’arrêt Concepts préalables (Shift Invariant Feature Transform)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (création du modèle d’octogone)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Segmentation des régions rouges)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt) Image candidate contient la forme à analyser

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt, suite…) Features similaires Calcul des features SURF de la forme dans l’image candidate et comparaison avec les features SURF de la forme de référence

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt, suite…, méthode cvMatchShapes()) Basée sur la reconnaissance de formes caractérisées par les Moments de Hu. Les moments de Hu permettent de représenter tout autant des contours (formes) que des images. Exemples des Moments de Hu calculés pour des images de caractères

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt, suite…, méthode cvMatchShapes()) Moments de Hu Moment normalisé (), Moment centré (), Moment de contour (m)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt, suite…, méthode cvMatchShapes()) Méthode d’appariement (matching)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Détecter les panneaux d’arrêt, fonction principale)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Windows)

Traffic Sign Recognition: Détection des panneaux d’arrêt Application (Nexus/Android)