ADT ArosDyn Analyse robuste de scènes dynamiques complexes par fusion bayésienne de données de capteurs Application à la sécurisation de la conduite automobile http://arosdyn.gforge.inria.fr Responsable : Christian LAUGIER, EPI e-Motion Journées ARC-ADT à Bordeaux, 29 septembre – 1er octobre 2009

Contenu Introduction: Organisation : Détection stéréo-vision Objectifs, approche Organisation : Partenaires, modules, matériels, planning Détection stéréo-vision Suivi stéréo Filtrage, détection et suivi Conclusion

Risque lors de la conduite Risque de collision lors de la conduite automobile est une notion probabiliste Connaître ce risque est indispensable pour les voitures de demain

Bayesian Sensor Fusion for “Dynamic Perception” “Bayesian Occupation Filter paradigm (BOF)” Patented by INRIA & Probayes, Commercialized by Probayes Continuous Dynamic environment modelling Grid approach based on Bayesian Filtering Estimates Probability of Occupation & Velocity of each cell in a 4D-grid Application to Obstacle Detection & Tracking + Dynamic Scene Interpretation BOF Occupied space Free Unobservable space Concealed space (“shadow” of the obstacle) Sensed moving obstacle P( [Oc=occ] | z c) c = [x, y, 0, 0] and z=(5, 2, 0, 0) Occupancy grid Prediction Estimation [Coué & al IJRR 05]

Robustness to Temporary Occlusion Tracking + Conservative anticipation Parked Vehicle (occlusion) Autonomous Vehicle Description Specification Variables : Vk, Vk-1 : controlled velocities Z0:k : sensor observations Gk : occupancy grid Decomposition : Parametric forms : P( Gk | Z0:k) : BOF estimation P( Vk | Vk-1 Gk) : Given or learned Question Inference Thanks to the prediction capability of the BOF, the Autonomous Vehicle “anticipates” the behavior of the pedestrian and brakes (even if the pedestrian is temporarily hidden by the parked vehicle)

Modeling (Predicting) the Future Risk assessment requires to both Estimate the current world state & Predict the most likely evolution of the dynamic environment Objects motions are driven by “Intentions” and “Dynamic Behaviors” => Goal + Motion model Goal & Motion models are not known nor directly observable …. But “Typical Behaviors & Motion Patterns” can be learned through observations

Objectifs Développer un logiciel embarqué d’analyse robuste des scènes dynamiques de conduite automobile : Fusion bayésienne de données de capteurs de type télémétrique (Lidar) et visuel (Caméra) Traitement en temps réel des scènes dynamiques complexes pour la détection et le suivi de plusieurs entités en mouvement Intégrer dans ce logiciel les fonctions de prédiction et évaluation des risques lors de la conduite automobile

Vue d’ensemble Stéréovision Laser Odométrie Centrale inertielle Observation dans l’espace de disparité Pré-traitement par SLAM local Grilles observées Bayesian Occupancy Filter Fusion / Estimation Mouvement propre Grille estimée Fast Clustering Tracking Algorithm Objets suivis Estimation du risque de collision comme processus gaussien Risque estimé

Partenaires INRIA Grenoble Rhône-Alpes : INRIA Sophia-Antipolis : e-MOTION PERCEPTION PRIMA SED INRIA Sophia-Antipolis : EVOLUTION Probayes (start-up INRIA) et TME (partenariat avec INRIA et Probayes)

Principaux modules Filtrage et fusion, estimation des risques e-Motion: M. Yong Probayes: K. Mekhnacha e-Motion: M. Yong, e-Motion / Prima: A. Nègre Evolution: E. Malis Perception: E. Boyer e-Motion: M. Perrollaz Filtrage et fusion, estimation des risques Calibration Tracking ADT ArosDyn C. Laugier, I. Paromtchik Détection et localisation Classification Validation expérimentalle Perception: E. Boyer e-Motion: M. Yong e-Motion / Prima: A. Nègre e-Motion: M. Perrollaz SED: N. Turro, J.-F. Cuniberto e-Motion: M. Yong, I. Paromtchik e-Motion / Prima: A. Nègre e-Motion: M. Perrollaz, Perception: E. Boyer

Matériels : véhicules CyCab équipé d’un lidar IBEO Lux et une centrale inértielle Xsens MTi-G, pour effectuer les tests préliminaires Toyota Lexus LS600h – une voiture hybride à équiper avec une caméra stéréo, deux télémètres laser et une centrale inértielle

Matériels : capteurs TYZX caméra stéréo monochrome : Aptina MT9V022 CMOS, base de 22cm, HFOV de 62°, profondeur de 1.8-23m, PCI board pour le calcul de disparité en temps réel, Linux drivers IBEO Lux lidar, HFOV de 100°, distances de 0.3-200m, résolution de 4cm et de 0,125-0,5°, avec 4 ou 2 couches de balayage Xsens MTi-G 6 DOF Attitude and Heading Reference System, with integrated GPS and static pressure sensor

(la couleur représente la distance) Caméra TYZX Image de gauche Image de disparité (la couleur représente la distance) Image de droite

Planning sur trois ans

Module « Détection stéréo-vision » (M.Perrollaz - A. Nègre) - “Matching” pour une représentation 3D de la scène - Les pixels “route” sont séparés des pixels “obstacles”

Grille d’occupation à partir d’un plan de disparité Grille d’occupation est calculée directement à partir d’un plan u-disparité Cela permet un calcul efficace et améliore la gestion d’incertitude Projection au sol avec accumulation Grille d’occupation à partir des données stéréo

Détection stéréo-vision

Module « Suivi stéréo en temps réel » (E. Malis) Implementation en ANSI C : Entrées : images stéréo Suivi stéréo (version non-optimisée) Sorties : localisation dans les images et dans l'espace Cartesien Tests sur des séquences du projet LOVe: Enrégistrées avec une paire stéréo embarquée

Exemple sur séquences LOVe Image gauche 0 Image gauche 25 Image gauche 50 Image droite 0 Image droite 25 Image droite 50

Suivi stéréo de piétons

Fusion pour le suivi stéréo Conception du module de fusion en Matlab : Exemple avec suivi monoculaire Tests sur des séquences synthétiques Méthode testée: Initialisation du suivi visuel à l'aide du capteur inértiel Correction de la dérivée du capteur inértiel à l'aide du suivi visuel

Module « Filtrage, détection et suivi » (Yong Mao) Pré-traitement des données laser : Local SLAM, filtre à particules Modélisation de l’environnement : Bayesian Occupancy Filter (BOF) Détection d’objets et leur suivi : Fast Clustering-Tracking Algorithm (FCTA) Estimation des risques de collision : Hidden Markov Model + Gaussian Process

Fusion de données Bayesian occupancy filter (BOF) pour une représentation à base de grilles Entrées : observations statiques des capteurs représentées par grilles Sorties : grilles BOF comprénant les distributions probabilistes d’occupation et vitesse

Fast Clustering-Tracking Extraire les clusters à partir des grilles BOF Association de données explicites sans ambiguité Suivi à base de Kalman filtre Sorties : objets avec position et vitesse

Réalisation sur le GPU Navlab SLAMMOT Datasets, CMU, 2004, by C. C. Wang et al. http://www.csie.ntu.edu.tw/~bobwang/datasets.html

Performance améliorée Performance BOF+FCTA améliorée grace au pre-traitement avec Local SLAM Implémentation sur le GPU permet d’obtenir de 22-25 fps (vidéo) Comparaison pour un champ de vue de 30x40m et une cellule de grille de 0.3x0.3m

Estimation du risque de collision High-level Behavior prediction for other vehicles (Observations + HMM) Own vehicle Risk estimation (Gaussian Process) Cooperation Toyota & Probayes

Conclusion ArosDyn est en fort développement depuis le kick-off meeting il y a 8 mois Succès sur les tests de logiciels prévus pour la première année Réussite sur la préparation du prototype expérimental sur Toyota Lexus Difficultés : Retard de paiement des factures (délais d’acquisition des capteurs) Ressources humaines (financement sur des contrats)

Distances du télémètre Architecture fonctionnelle Drivers & Middleware Distances du télémètre Mesures d’odométrie Images stéréo Mesures inertielles Mesures GPS Calibration - Localisation de la cible dans la paire stéréo courante Estimation de la position par rapport à la frame de référence - Mesure de la qualité [0, 1] Détection visuelle Visual Tracking Local SLAM Modèle du télémètre BOF FCTA CRE Estimation de la probabilité de collision pour période T Détection télémétrique Filtrage-Tracking et estimation de risques - Road layout: largeur, courbure, sémantique - Vitesse et accélération des véhicules à suivre - Signaux de communication des véhicules Contexte sémantique GIS