Deux schémas de fusion pour la détection d’obstacles Fawzi Nashashibi

CAOR - Séminaire LOVe - SP3 Plan Contexte Architectures de fusion: Principes Schémas de fonctionnement Validation Adaptation au contexte de LOVe Conclusion Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Détection d’obstacles Capteurs: Mono caméra Laser Types d’obstacle: Véhicules Piétons 2-Roues Poids Lourds Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Fusion multisensorielle Deux approches de fusion ont été conçues et testées: Architecture « série » : de type 1 (terminologie LOVe) Testée en détection de véhicules et de piétons Contexte : projet ARCOS / partenariat privé Architecture « parallèle » : de type 3 Testée en détection de véhicules Contexte : partenariat privé Réf. : thèse de doctorat de M. Ayoub KHAMMARI : ENSMP – Fév. 2006 Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Fusion : Architecture de Type 1 2 Capteurs : laser / vision Principe : Détermination de la Zone d’Intérêt Détection d’objets/pistes par le télémètre laser  Génération d’hypothèses dans la zone d’intérêt Validation d’hypothèses : « détection/fusion » reconnaissance/identification des cibles par la vision Projection des pistes laser dans le repère caméra Reconnaissance-fusion dans le même espace Pistage global Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Fusion : Architecture de Type 1 Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Architecture 1 : validation Validée en détection de véhicules : projet ARCOS Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Architecture 1 : validation Validée en détection de piétons : → Thèse de Gwennaël Gâté Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Fusion : Architecture de Type 3 2 capteurs ou plus : vision, laser,… Principe : Détection de la Zone d’Intérêt Détection: Chaque capteur détecte « ses » cibles et leur affecte des indices de confiance Chaque capteur piste ses propres cibles Fusion: Expression des cibles dans le même espace (2D) Appariement et fusion Pistage globale Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Fusion : Architecture Type 3 Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Architecture 3 : validation Appliquée jusqu’ici pour la détection de véhicules Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Application à LOVe Contraintes capteurs: Architecture 1 : plus difficile à cause de Résolution angulaire laser Champ de perception laser Les 4 plans laser permettront en revanche: Élimination de fausses cibles (« route ») ? Amélioration de la détection ? Détection monovision: il faut Adapter/refaire l’apprentissage Adaboost Développer un autre algorithme de détection et de pistage 2D efficace Retravailler les coefficients de confiance des 2 capteurs Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 CONCLUSION Premiers résultats intéressants (architecture de type 1) Attendons données LOVe : Importance de : Synchronisation des données Calibration (intrinsèque ET extrinsèque) Qualité des données Livrable SP3 : livré … à temps  ! Nous sommes dans les délais… Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Perception monovision Méthodes de traitement d’images « classiques » Approche spatiale : Ombre, gradient, symétrie, texture [Leeuwen01], couleur [Betke98],… Vision Flot optique [Giachetti98], contraintes [Okada03], IPM [Parag98], suppression de l’arrière plan [Cohen99], différentiation [Betke00],… Approche temporelle :  Généralement utilisées pour la génération d’hypothèses de cibles Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Perception monovision Techniques de reconnaissance de formes Approche par appariement Modèles géométriques 2D ou 3D [Fleisher02] Modèles d’intensité [Betke96] Approche par apprentissage Réseaux de neurones [Rosenblatt58][Goerick96], Support Vector Machine (SVM) [Vapnik95] [Avidan03] [Clady03],… Adaptive Boosting (AdaBoost) [Freund&Schapire95] [Viola01] [Abramson04].  Généralement utilisées pour la validation d’hypothèses de cibles : classification binaire Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Détection de véhicules Génération d’Hypothèses (G.H.) de cible : TD Vision Validation des Hypothèses (V.H.) de cible : TFA Reconnaissance Suivi ? Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

G.H. par vision Pré-traitement Analyse du gradient Zone d’intérêt Pré-traitement Analyse du gradient Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Niveau 1 Niveau 2 Pyramides gaussiennes Remplacer pyramide Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Pré-traitement Masque précis Analyse du gradient Seuil adaptatif Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Image brute Gradient Maxima locaux Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Filtrage géométrique Pré-traitement Avant Analyse du gradient Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Après Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Filtrage temporel t-1 Pré-traitement Dilatation x 4 Analyse du gradient t Filtrage géométrique & Filtrage temporel Confiances Hypothèses de cible Intersection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Confiance de la vision Texture Pré-traitement Ombre Symétrie Analyse du gradient Largeur Gradient Confiance globale Filtrage géométrique + Filtrage temporel Temps Confiances Hypothèses de cible Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

? Perception : V.H. Vision Génération d’Hypothèses (G.H.) de cible : TD Vision Validation des Hypothèses (V.H.) de cible : TFA Reconnaissance Suivi ? Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 VH par Adaboost Boosting: Combining many weak classifiers to form one strong classifier AdaBoost selects (=learns) a set of weak classifiers and builds a weighted “voting system” Weak1 Weak2 Weak3 Weak4 Yes NO No 0.2 0.7 YES/NO If we donate the weak classifiers as: h1(x),h2(x)….hT(x) returning –1 or 1, then: FT(x) = α1h1(x)+ α2h2(x)+ . αThT(x) The sign of FT(x) is the answer of the strong classifier Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Classifieur faible : Viola and Jones Weak rule: S1 = sum of pixels in red area S2 = sum of pixels in blue areas If ABS(S1-S2) > K say “yes” otherwise “no” Advantages (Viola and Jones) Good detection performance Exhaustive space search Adapted for pedestrian detection Drawbacks Computation cost Illumination dependent (requires histogram equalization) Less adapted for GENERIC object detection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Classifieur faible : Control Points Main feature: Illumination independent classifier Weak rule: If i,j gi - rj > K OR i,j rj - gi > K say “yes”, otherwise “no” Size independent classifier Upon receiving an image, we warp it to 3 resolutions: full, quarter and sixteenth. Each weak classifier works on one of these resolutions. Advantages Lesser computational time consuming (Pixel based) Adapted for GENERIC object detection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 18 AdaBoost/GA Classificateur faible Apprenant faible X : x1..xN, N  IN Y : y1..yM, M  IN Algorithme génétique simplifié Entrées : nbre de générations, nbre de survivants, erreur de classification Sortie : le meilleur classificateur faible Mutations : Déplacer Ajouter Supprimer un point de contrôle Résolution R : 0,1,2 ou Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 17 Apprentissage Base d’imagettes de 48x36 pixels ( 1500 + et 11000 -) constituée avec SEVILLE 2/3 pour l’apprentissage, 1/3 pour la validation Combien de classificateurs ? Quel score ? Erreur de classification Histogramme de classification (T=500) Nombre de classificateurs (T) : 500 Score de classification : 0.52 J’ai utilisé le logiciel SEVILLE, développé au centre pour constituer ma propre base de donnée de véhicule Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Résultats Adaboost : véhicules Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

CAOR - Séminaire LOVe - SP3 Résultats GH + VH Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Résultats Adaboost : piétons Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Résultats Adaboost : piétons Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Segmentation des cibles laser Algorithme de la corde Filtrage/Fusion/Fission Analyse géométrique Extractions des objets : filtrage selon longueurs des segments, forme, dispersion des points sur un segment, angle rayon/segment Extraction des cibles (dont C1) à partir des objets : nbre des segments élémentaires, forme des segments et des objets Confiances Hypothèses de cible Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

Etat des travaux (pour les piétons) Monovision : L’outil SEVILLE a été développé et fonctionne Adaboost fonctionne bien mais n’est pas suffisant !  L’exploration d’autres techniques est nécessaire. Laser : Travail en cours: première version imminente. Première tentative de fusion vision/Laser Fusion Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3