Sujets Spéciaux en informatique II PIF6004

Application: Voiture autonome Problématiques Perceptions Détection des routes (traffic lanes) Détection des objets (LIDAR) Géolocalisation (GPS) Détection des panneaux de signalisation (segmentation) Détection des véhicules en mouvement et stationnaire Reconnaissance Panneaux de signalisation Véhicule Tracking des véhicules

Application: Voiture autonome Voir les références de Ionut Alexandru Budisteanu: Using Artificial Intelligence to create a low cost self-driving car http://www.ingenious-science.eu/c/document_library/get_file?uuid=26e0c7ac-db1e-41cc-88ab-9649a62f598e&groupId=10136 http://budisteanu.net/Download/ISEF%202%20Autonomous%20car%20Doc%20particle.pdf LECTURES: Chapitre 24, Russell & Norvig, Perception Notes de cours (site ftp UQTR)

Problématique Développement d’une voiture autonome à moindre coût: schéma général

Problématique HDL-32E - Velodyne Lidar: 75,000 US$ Développement d’une voiture autonome à moindre coût (4000 US$) HDL-32E - Velodyne Lidar: 75,000 US$

Problématique Développement d’une voiture autonome à moindre coût (4000 US$)

Perceptions Détection des routes (traffic lane) Voir la référence: RT Detection of Lane Markers in Urban Streets, M. Aly, Computer Vision Lab, Caltech

Perceptions Détection des routes (traffic lane): Résultats de détection

Perceptions Détection des routes (traffic lane): Résultats de détection …

Perceptions Détection des objets (LIDAR): permet de déduire la distance des objets environnant créant ainsi une carte 3D

Perceptions Détection des objets (LIDAR): permet de déduire la distance des objets environnant créant ainsi une carte 3D

Perceptions Géolocalisation (GPS): Étant donné que la détection des panneaux de signalisation peut parfois être inefficace à causes d’obstacles comme des arbres ou personnes. Pour améliorer la détection et la reconnaissance des panneaux de signalisation, tous les véhicules autonomes pourraient collaborer à la création une base de données communes contenant tous ces panneaux avec leur position GPS respective. En utilisant cette BD commune, les véhicules autonomes pourront faire la mise-à-jour de cette BD en y ajoutant chaque nouveau panneaux non encore inclus dans la BD. Le module GPS de chaque véhicule fera alors cette MAJ de la BD et le module superviseur aura alors accès aux listes de panneaux MAJ.

Perceptions Géolocalisation (GPS)

Perceptions Géolocalisation (GPS): algorithme de détection/MAJ des panneaux de signalisation

Perceptions Détection des panneaux de signalisation Comme un conducteur humain qui doit être familié avec tous les panneaux de signalisation, un véhicule autonome doit donc être capable de reconnaître tous ces mêmes panneaux et de prendre des décisions sur les actions suivantes à entreprendre en fonction de ces panneaux de signalisation. La détection des panneaux est basée d’abord sur la conversion des images BGR à HSV en utilisant principalement la composante H (hue). Ces images transformées sont présentées à plusieurs réseaux de neurones multi-couches et à une base de données communes utilisant les coordonnées GPS et Google Maps.

Perceptions Détection des panneaux de signalisation La détection des panneaux est basée d’abord sur la conversion des images BGR à HSV en utilisant principalement la composante H (hue).

Perceptions Détection des panneaux de signalisation (segmentation des panneaux)

Perceptions Détection des panneaux de signalisation (résultat de segmentation/détection)

Perceptions Détection des panneaux de signalisation (résultat de segmentation: utilisation d’un seuillage de la composant H des images HSV)

Perceptions Détection des panneaux de signalisation (résultat de segmentation: utilisation d’un seuillage de la composant H des images HSV)

Perceptions Détection des véhicules (statique/en mouvement): une approche basée sur le flux optique peut permettre de distinguer les véhicules en mouvement de ceux statiques.

Perceptions Segmentation avec un seuil de 105 dans la bande bleue Détection des véhicules (statique/en mouvement): une approche basée sur le flux optique peut permettre de distinguer les véhicules en mouvement de ceux statiques (Segmentation préalable) Segmentation avec un seuil de 105 dans la bande bleue

Reconnaissance Panneaux de signalisation: Multi-threading

Reconnaissance Panneaux de signalisation Basé sur des NN Cascadés (utilisés en cascade). La détection (reconnaissance) est implémentée par des perceptrons multi-couche. Les NNs ont été entraînés avec des images HSV des panneaux de signalisation et ce par la méthode de propagation arrière utilisant un algorithme MSE. 2 NNs permettent de distinguer les panneaux bleu et rouge. D’autres NNs permettent de distinguer les différents panneaux de même couleur.

Reconnaissance Panneaux de signalisation La reconnaissance est implémentée par des perceptrons multi-couche.

Reconnaissance Panneaux de signalisation La reconnaissance est implémentée par des perceptrons multi-couche (phase d’entraînement)

Reconnaissance Panneaux de signalisation (Après segmentation des ROI bleue/rouges)

Reconnaissance Véhicule (NN qui permet de confirmer ou non la présence d’un véhicule) Découlant de la segmentation préalable

Reconnaissance Véhicule (Tracking du véhicule dans les images suivantes, basée sur une approche de filtrage de Kalman dont les particules sont représentées par les composantes RGB) d’un ensemble de pixels extrait d’une forme supposée similaire au véhicule dans l’image suivante. t t+1

Reconnaissance Véhicule (Tracking du véhicule, différence des histogrammes RGB) -

Reconnaissance Véhicule (Tracking du véhicule: algorithme)