Véronique Cherfaoui + partenaires SP3 29 mars 2007 SP3 Schémas globaux Véronique Cherfaoui + partenaires SP3 29 mars 2007

SP3 schémas globaux Avant propos : Proposition de changer le nom des repères : Après discussion avec François : on garde les anciennes notations à savoir RUSL Repère Love = repère télémètre RUCM = repère monovision RUCS = repère stéréovision

Tache 3.1 Couplage Zones d’intérêt / détection LIVIC (1) IEF(2) Emotion (3) CAOR (4) Heudiasyc (5) LIST(6) LASMEA (7) ICARE (8) Tache 3.1 Couplage Zones d’intérêt / détection (1), (7), (2) Zones d’interêt (RUCM) Zones d’intérêt (RUSL) Projection proprio Zones d’interêt (RUCS) Zones d’intérêt (RUi) Sélection/Focalisation/ Prédiction/Reconnaissance Objets/piétons (RUi) Données du capteur i (1) : i = SL (4)(6) : i = CM (6) i=CS

3.1 questions Lisibilité de la tâche 3.1 par rapport à la tâche 2.1 En quoi le module 3.1 est différent du ou des modules développés en 2.1 Ce que va contenir ce module ( sélection, focalisation, projection, reconnaissance …)

Tache 3.2 - Solution combinées 2 type d’architectures identifiées lors du séminaire du 15 novembre (voir présentation SP3) LIVIC (1) IEF(2) Emotion (3) CAOR (4) Heudiasyc (5) LIST(6) LASMEA (7) ICARE (8)

Tache 3.2 architecture type 1 LIVIC (1) IEF(2) Emotion (3) CAOR (4) Heudiasyc (5) LIST(6) LASMEA (7) ICARE (8) Tache 3.2 architecture type 1 Les entrées sont des données de différents capteurs Des zones d’intérêt Partenaires identifiés (1), (3) (4),(6), (8) Capteur 1 Mesures 1 Capteur n Mesures n Zones d’intérêt Fusion des mesures Détection, Estimation (1)(3)(4)(6) RUSL (8) RUCM Objets Pistage Association, Estimation, Prédiction (1)(3)(4)(6) RUSL (8) RUCM Pistes

LIVIC (1) 3.2 code couleur Combinaison stéréovision/laser Images stéréo N&B rectifiées et synchrones,Zones de recherche Confiances par piste Combinaison stéréovision/laser Piste sélectionnée (RUSL) Confirmation des pistes lasers par stéréovision (position, orientation, précision, confiance) TTC Pistes (RUSL) Pistes (RUSL) potentielles Impacts LASER, Zone de recherche code couleur 3.2 2.x 3.1 ou 2.1? Association Multi-objets Mise à jour Détection cibles potentielles prédiction Zone de travail SP1, Données proprioceptives, Données de calibrage Prédiction trajectoire Rétro-Projection Zone image (RUCM) Zone Intérêt Scène (RUSL)

(seuillage sur indice de confiance) CAOR (4) Laser Can, Gyro Caméra Détection Zone d'intérêt Pistage 3D Pistage 2D (Point d'intérêts) Projection 3D -> 2D Détection Vision (Adaboost, ...) Prise de décision (seuillage sur indice de confiance) Pistes (Laser + Vision) Pistes + (Objects Vision) Full Image Pistes 3D Image ROI Fusion 2D Objects 3D + Objects 2D Tâche 2.1 Tâche 2.4 Tâche 3.2

CEA(6) Classification par fusion de la disparité et de l’apparence Images stéréo N&B rectifiées et synchrones Piétons (RUSL) (position, confiance) Pistes Piétons (RUSL) Disparité sur Les objets Classification par fusion de la disparité et de l’apparence Pistage: Association avec ancienne piste ou création nouvelle piste Calcul de la disparité avec fusion des données image et Lidar Objets (T2.1) Données Lidar

Emotion (3) 3.2 Détecteur 1 Image mono (RUCM) Paire d’image Stéréo (RUCS) Détecteur 2 ... Proprioception Fusion dans une grille d’occupation code couleur 3.2 2.x 3.1 ou 2.1? BOF Prédiction Pistes de piétons (RUSL) 10 10

ICARE (8) Calibration Propioception Prediction Image Mono (RUCM) Piste Suivi Visuel Piste Telemetre (RUSL)

Tache 3.2 architecture type 2 LIVIC (1) IEF(2) Emotion (3) CAOR (4) Heudiasyc (5) LIST(6) LASMEA (7) ICARE (8) Tache 3.2 architecture type 2 Les entrées sont Des objets/piétons détectés par l’une ou l’autre modalité. Partenaires identifiés (5), (7) Capteur 1 Mesures 1 Capteur n Mesures n Détection Estimation Détection Estimation Pistage Association, Estimation, Prédiction Pistes RUSL Objets RUSL

Heudiasyc (5) 3.2 Fusion d’objets Pistage Détecteur j Détecteur k … Détecteur i Fusion d’objets Pistage Objetsrusl Pistesrusl Association d’objets/pistes code couleur 3.2 2.x 3.1 ou 2.1? Mise à jour/Estimation des pistes Initialisation nouvelles pistes Données proprio Prédiction Pistesrusl

LASMEA (7) n n o o Pistesrusl Objetsrusl Détecteur i Détecteur j Association Objets/Pistes n n Destruction piste maintien o o FUSION DES OBJETS CORRECTION INITIALISATION PREDICTION proprio Pistesrusl

IEF (2) 3.1 3.2 2.X 3.2 Données proprio Carte vue de dessus Choix de Dt 8+L 8m Fenêtre 3.1 Prédiction 8+L 8m supervision Détecteur i Objet Recalage Carte vue de dessus Fenêtres Détecteur i Détecteur j Détecteur k Scrutation sur nouvel horizon Focalisation pour détecteur robuste Prise en compte du mouvement des vulnérables sur la carte Objetsrusl 3.2 Association d’objets/pistes Mise à jour/ Estimation pistes Initialisation nouvelles pistes 2.X Gestion des pistes / Evaluation 3.2 Pistesrusl

Tâche 3.3 Combinaison de pistes LIVIC (1) IEF Emotion (3) CAOR (4) Heudiasyc (5) LIST(6) LASMEA (7) ICARE (8) Architecture type 3 fusion décentralisée Intérêt : utiliser des modules indépendants gérer l’asynchronisme Partenaires identifiés (4) (5), (7) Capteur 1 Mesures 1 Capteur n Mesures n Détection Estimation Détection Estimation objets objets Pistage Pistage Pistes Combinaison de pistage Association,combinaison, analyse Pistes Danger, Contrôle

(seuillage sur indice de confiance) CAOR (4) Laser Can, Gyro Caméra Détection Zone d'intérêt (Adaboost,...) Pistage 3D Pistage 2D (Point d'intérêts) Recalage temporel Matching/Fusion 2D Prise de décision (seuillage sur indice de confiance) Pistes (Laser + Vision) Pistes + (Objects Vision) Pistes + Objects (si objects vision non matchés Laser) Objects 2D Pistes 2D Pistes 3D Tâche 2.1 Tâche 2.4 Tâche 3.3 Tâche 2.2

Heudiasyc (5) 3.3 3.2 Pistes i ti,rusl Pistes jtj,rusl Données proprio Etat des modules Recalage temporel Pistes itc,rusl Pistes jtc,rusl Pistes globalestc,rusl Association pistes/pistes code couleur 3.3 3.2 2.x 3.1 ou 2.1? Combinaison des pistes Initialisation nouvelles pistes ? Etat des modules Validation /analyse Pistes globalesrusl

Association piste à piste LASMEA (7) Pistes i ti,id_i, rusl Pistes jtj,id_j, rusl Recalage temporel proprio Association piste à piste Initialisation o Prédiction o maintien maintien n n n o correction correction o id_j dispo n id_i dispo Destruction piste Destruction piste Fusion Validation Pistes globalesrusl