Deux schémas de fusion pour la détection d’obstacles

Présentation au sujet: "Deux schémas de fusion pour la détection d’obstacles"— Transcription de la présentation:

1 Deux schémas de fusion pour la détection d’obstacles
Fawzi Nashashibi

2 CAOR - Séminaire LOVe - SP3
Plan Contexte Architectures de fusion: Principes Schémas de fonctionnement Validation Adaptation au contexte de LOVe Conclusion Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

3 Détection d’obstacles
Capteurs: Mono caméra Laser Types d’obstacle: Véhicules Piétons 2-Roues Poids Lourds Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

4 Fusion multisensorielle
Deux approches de fusion ont été conçues et testées: Architecture « série » : de type 1 (terminologie LOVe) Testée en détection de véhicules et de piétons Contexte : projet ARCOS / partenariat privé Architecture « parallèle » : de type 3 Testée en détection de véhicules Contexte : partenariat privé Réf. : thèse de doctorat de M. Ayoub KHAMMARI : ENSMP – Fév. 2006 Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

5 Fusion : Architecture de Type 1
2 Capteurs : laser / vision Principe : Détermination de la Zone d’Intérêt Détection d’objets/pistes par le télémètre laser  Génération d’hypothèses dans la zone d’intérêt Validation d’hypothèses : « détection/fusion » reconnaissance/identification des cibles par la vision Projection des pistes laser dans le repère caméra Reconnaissance-fusion dans le même espace Pistage global Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

6 Fusion : Architecture de Type 1
Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

7 Architecture 1 : validation
Validée en détection de véhicules : projet ARCOS Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

8 Architecture 1 : validation
Validée en détection de piétons : → Thèse de Gwennaël Gâté Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

9 Fusion : Architecture de Type 3
2 capteurs ou plus : vision, laser,… Principe : Détection de la Zone d’Intérêt Détection: Chaque capteur détecte « ses » cibles et leur affecte des indices de confiance Chaque capteur piste ses propres cibles Fusion: Expression des cibles dans le même espace (2D) Appariement et fusion Pistage globale Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

10 Fusion : Architecture Type 3
Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

11 Architecture 3 : validation
Appliquée jusqu’ici pour la détection de véhicules Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

12 CAOR - Séminaire LOVe - SP3
Application à LOVe Contraintes capteurs: Architecture 1 : plus difficile à cause de Résolution angulaire laser Champ de perception laser Les 4 plans laser permettront en revanche: Élimination de fausses cibles (« route ») ? Amélioration de la détection ? Détection monovision: il faut Adapter/refaire l’apprentissage Adaboost Développer un autre algorithme de détection et de pistage 2D efficace Retravailler les coefficients de confiance des 2 capteurs Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

13 CAOR - Séminaire LOVe - SP3
CONCLUSION Premiers résultats intéressants (architecture de type 1) Attendons données LOVe : Importance de : Synchronisation des données Calibration (intrinsèque ET extrinsèque) Qualité des données Livrable SP3 : livré … à temps  ! Nous sommes dans les délais… Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

14 Perception monovision
Méthodes de traitement d’images « classiques » Approche spatiale : Ombre, gradient, symétrie, texture [Leeuwen01], couleur [Betke98],… Vision Flot optique [Giachetti98], contraintes [Okada03], IPM [Parag98], suppression de l’arrière plan [Cohen99], différentiation [Betke00],… Approche temporelle :  Généralement utilisées pour la génération d’hypothèses de cibles Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

15 Perception monovision
Techniques de reconnaissance de formes Approche par appariement Modèles géométriques 2D ou 3D [Fleisher02] Modèles d’intensité [Betke96] Approche par apprentissage Réseaux de neurones [Rosenblatt58][Goerick96], Support Vector Machine (SVM) [Vapnik95] [Avidan03] [Clady03],… Adaptive Boosting (AdaBoost) [Freund&Schapire95] [Viola01] [Abramson04].  Généralement utilisées pour la validation d’hypothèses de cibles : classification binaire Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

16 Détection de véhicules
Génération d’Hypothèses (G.H.) de cible : TD Vision Validation des Hypothèses (V.H.) de cible : TFA Reconnaissance Suivi ? Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

17 G.H. par vision Pré-traitement Analyse du gradient
Zone d’intérêt Pré-traitement Analyse du gradient Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Niveau 1 Niveau 2 Pyramides gaussiennes Remplacer pyramide Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

18 CAOR - Séminaire LOVe - SP3
Pré-traitement Masque précis Analyse du gradient Seuil adaptatif Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Image brute Gradient Maxima locaux Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

19 CAOR - Séminaire LOVe - SP3
Filtrage géométrique Pré-traitement Avant Analyse du gradient Filtrage géométrique Filtrage temporel Confiances Hypothèses de cible Après Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

20 CAOR - Séminaire LOVe - SP3
Filtrage temporel t-1 Pré-traitement Dilatation x 4 Analyse du gradient t Filtrage géométrique & Filtrage temporel Confiances Hypothèses de cible Intersection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

21 CAOR - Séminaire LOVe - SP3
Confiance de la vision Texture Pré-traitement Ombre Symétrie Analyse du gradient Largeur Gradient Confiance globale Filtrage géométrique + Filtrage temporel Temps Confiances Hypothèses de cible Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

22 ? Perception : V.H. Vision Génération d’Hypothèses (G.H.) de cible :
TD Vision Validation des Hypothèses (V.H.) de cible : TFA Reconnaissance Suivi ? Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

23 CAOR - Séminaire LOVe - SP3
VH par Adaboost Boosting: Combining many weak classifiers to form one strong classifier AdaBoost selects (=learns) a set of weak classifiers and builds a weighted “voting system” Weak1 Weak2 Weak3 Weak4 Yes NO No 0.2 0.7 YES/NO If we donate the weak classifiers as: h1(x),h2(x)….hT(x) returning –1 or 1, then: FT(x) = α1h1(x)+ α2h2(x)+ . αThT(x) The sign of FT(x) is the answer of the strong classifier Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

24 Classifieur faible : Viola and Jones
Weak rule: S1 = sum of pixels in red area S2 = sum of pixels in blue areas If ABS(S1-S2) > K say “yes” otherwise “no” Advantages (Viola and Jones) Good detection performance Exhaustive space search Adapted for pedestrian detection Drawbacks Computation cost Illumination dependent (requires histogram equalization) Less adapted for GENERIC object detection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

25 Classifieur faible : Control Points
Main feature: Illumination independent classifier Weak rule: If i,j gi - rj > K OR i,j rj - gi > K say “yes”, otherwise “no” Size independent classifier Upon receiving an image, we warp it to 3 resolutions: full, quarter and sixteenth. Each weak classifier works on one of these resolutions. Advantages Lesser computational time consuming (Pixel based) Adapted for GENERIC object detection Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

26 CAOR - Séminaire LOVe - SP3
18 AdaBoost/GA Classificateur faible Apprenant faible X : x1..xN, N  IN Y : y1..yM, M  IN Algorithme génétique simplifié Entrées : nbre de générations, nbre de survivants, erreur de classification Sortie : le meilleur classificateur faible Mutations : Déplacer Ajouter Supprimer un point de contrôle Résolution R : 0,1,2 ou Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

27 CAOR - Séminaire LOVe - SP3
17 Apprentissage Base d’imagettes de 48x36 pixels ( et ) constituée avec SEVILLE 2/3 pour l’apprentissage, 1/3 pour la validation Combien de classificateurs ? Quel score ? Erreur de classification Histogramme de classification (T=500) Nombre de classificateurs (T) : 500 Score de classification : 0.52 J’ai utilisé le logiciel SEVILLE, développé au centre pour constituer ma propre base de donnée de véhicule Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

28 Résultats Adaboost : véhicules
Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

29 CAOR - Séminaire LOVe - SP3
Résultats GH + VH Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

30 Résultats Adaboost : piétons
Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

31 Résultats Adaboost : piétons
Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

32 Segmentation des cibles laser
Algorithme de la corde Filtrage/Fusion/Fission Analyse géométrique Extractions des objets : filtrage selon longueurs des segments, forme, dispersion des points sur un segment, angle rayon/segment Extraction des cibles (dont C1) à partir des objets : nbre des segments élémentaires, forme des segments et des objets Confiances Hypothèses de cible Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3

33 Etat des travaux (pour les piétons)
Monovision : L’outil SEVILLE a été développé et fonctionne Adaboost fonctionne bien mais n’est pas suffisant !  L’exploration d’autres techniques est nécessaire. Laser : Travail en cours: première version imminente. Première tentative de fusion vision/Laser Fusion Jeudi 29 Mars 2007 CAOR - Séminaire LOVe - SP3