Fusion multi-capteur pour la détection d'obstacle D. Gruyer, D. Aubert, L. Smadja, M. Perrollaz, T. Veit 29 mars 2007

Matrice d’observation Détection et suivi par stéréo vision suivi par stéréo vision Extraction des primitives Carte de disparité Disparité: Deuxième passe (carte obstacle) Détection V- Disparité: (Plan de la route) Extraction zones d’intérêt obstacles Confirmation et affinage Extraction des primitives Cibles Mesure tangage et hauteur dans la nouvelle image Kalman Xk+1/k association Prédiction Modèle linéaire Transformation Cartesien image Volumes de prédiction Association et prédiction Xk/k Xk/k-1 Pistes Correction Matrice d’observation Non linéaire Calcul des vecteurs d’état des obstacles: U,V, et dU,dV, d x,y,z dx,dy,dz Xk/k Vecteurs d’états des obstacles Volumes observés par obstacle

Détection et suivi par stéréo vision Avantages: Détection des objets sur la route et discrimination en fonction de leurs hauteurs. Efficace dans des situations dégradées. Fonctionnement « temps réel » avec une résolution réduite (quart de PAL) estimation du plan de la route (route non plane) pour une meilleure détection des objets au dessus de la route Robuste aux faux appariements Limite les fausses détections et les non détections Inconvénients Calibrage automatique non trivial Précision se dégrade en fonction de la profondeur de l’objet La portée est directement liée à la résolution de l’image et à la longueur de la base. plus on veut voir loin, plus la longueur de la base augmente, plus le temps de calcul augmente. Portée de détection limitée à 40m Quelques non détection et quelques fausses alarmes soit zone de recherche, soit problème de suivi. mauvaise précision pour l’estimation de la vitesse des objets

Détection et suivi par télémétrie laser à balayage Architecture générale du suivi d’objet Étape de détection 2 approches: Par regroupement dynamique Par connexité Multi-plans Méthode par plan + Union des intersection + discrimination capteur Acquisition des données Modélisation Détection des objets Étape de suivi Cibles Cible i Association Correction Pistes Piste 1 Critère 1 Critère 2 … Critère n Piste n Combinaison multi-critères multi-objets Transformée Pignistique P(H1) P(H2) . P(Hk) Pistes Pistes prédiction

Détection et suivi par télémétrie laser Avantages: Détection précise Précision indépendant de la distance de l’objet portée à 60 mètres Fonctionnement « temps réel » (cadence double de la stéréovision) Gestion des apparitions, des disparitions et de la propagation des pistes Estimation de la confiance sur le suivi Inconvénients Perception sur 1 plan horizontal Sensible au mouvement du véhicule (tangage, roulis) Sensible au coefficient de réflexion des matériaux (pour les objets lointains) Un peu sensible aux conditions climatiques (pluie, soleil) pour les objets lointains

Fusion stéréovision/télémétrie laser Association multi-capteurs (première idée) Capteur 1 X21 X11 Détection et suivi locale X11 X22 X31 X13 X41 1 2 Pistes ( capteur 1) capteur 2 X21 Détection et suivi locale 1 3 X12 X22 X31 Pistes ( capteur 2) X12 2 3 X33 Capteur 3 Détection et suivi locals X13 X23 X23 X33 X41 Pistes ( capteur 3) Détection locale Sources fusion Association deux à deux Association finale

Association 2 à 2 (approche théorie des croyances) Matrice de fusion globale 1 2 3 4 5 6 7 8 9 Matrice de fusion globale finale filtrée 1 2 3 4 5 6 7 8 9 Pistes globales

Fusion stéréovision/télémétrie laser/radar Fusion multi capteur (première idée) Diagramme RTMaps de fusion multi-capteur Suivi des objects

Fusion stéréovision/télémétrie laser/radar Projets CARSENSE et MICADO (première idée)

Fusion stéréovision/télémétrie laser Association, apparition, disparition, propagation Vision Détection d’obstacle par Stéréovision (v-disparité) pistes Prédiction Association Multi-objets Cibles Zone d’intérêt Association, apparition, disparition, propagation Fusion Laser Association Multi-objets Cibles y x Obstacle potentiel pistes Prédiction Détection d’obstacle par regroupement d’impacts dynamique

Fusion stéréovision/télémétrie laser Manque de précision des pistes pour l’estimation de la vitesse ( on n’utilise pas le capteur le plus précis comme référence) Influence forte des capteurs sur le résultat de la fusion (Risque plus grand de fausse alarme et de non détection) Sensibilité au calibrage des capteurs Radar LR Lidar

Fusion coopérative stéréovision/télémétrie laser Association, apparition, disparition, propagation Vision Détection d’obstacle par Stéréovision (v-disparité) Confiance par piste Confirmation des pistes laser Zone d’intérêt Pistes laser Fusion Laser Association Multi-objets Cibles y x Obstacle potentiel pistes Prédiction Détection d’obstacle par regroupement d’impacts dynamique

Confirmation par stéréovision Fusion coopérative stéréovision/télémétrie laser Détection Laser Confirmation par stéréovision + confiances Détection coopérative

Fusion coopérative stéréovision/télémétrie laser

Fusion coopérative stéréovision/télémétrie laser Avantages: Détection précise en 3D Précision indépendant de la distance de l’objet Portée à 60 mètres. Fonctionnement « temps réel »?? Deux approche possible: fusion multi-capteurs multi-pistes (coût du traitement, perception à 70 m traitement plus coûteux) fusion coopérative (dépendance des capteurs, exploitation de la stéréovision dans des zones réduites) Robuste aux faux appariements. Fausses détections et non détections très faible. Estimation de la confiance sur le suivi Inconvénients Calibrage Dépendance des capteurs

Améliorations de l’existant Tests sur piste : Taux de détection réussie = 92,68 % Taux de détections tardives = 4,87 % Taux de non détection = 2,44 % Taux de fausses alarmes = 1,64 % Améliorations Améliorer le taux de détection Étendre la méthode à la zone de perception définie dans LOVE Prendre en compte les caractéristiques du télémètre 4 couches Évaluer l’impact d’une fréquence de 10hz pour le laser ( problèmes de suivi ???  Estimation de la vitesse) Étendre la portée de la perception (stéréovision longue portée > 60 mètres) Amélioration de la gestion des conflits Sensibilité au calibrage multi capteur

Environnement et capteurs virtuels Tests et validation (SiVIC) Données des capteurs Environnement et capteurs virtuels SiVIC RTMaps Résultat