Comité de pilotage – Satory – 2 décembre Comité de Pilotage Mardi 2 décembre 2008 SATORY

Comité de pilotage – Satory – 2 décembre 2008 Agenda  10h00 – Introduction - Laurent Trassoudaine  10h10 - Bilan d'activité de la 2° année 10h10 - SP1 – Sébastien Cornou/Benoist Fleury 10h25 – commentaires SP1 10h30 - SP2 - Didier Aubert 10h45 – commentaires SP2 10h50 – SP3 – Véronique Cherfaoui 11h05 – commentaires SP3  11h10 – Management du projet - Laurent Trassoudaine 11h10 - Suivi technique 11h15 - Reformulation des objectifs 11h25 - Modification du planning 11h35 - Suivi financier 11h45 – Retombées du projet  11h50 - Conclusion  12h00 – Fin du comité de pilotage

Comité de pilotage – Satory – 2 décembre Planning

Comité de pilotage – Satory – 2 décembre SP1/ Accidentologie (1/3) *CARE Database /EC (October 2007)

Comité de pilotage – Satory – 2 décembre Fatalities by transport mode* SP1/ Accidentologie (2/3) Total In urban areas *CARE Database /EC (March 2008)

Comité de pilotage – Satory – 2 décembre SP1/ Accidentologie (3/3) Ages of killed pedestrians* *CARE Database /EC (October 2007) 47%

Comité de pilotage – Satory – 2 décembre SP1/ Piéton LOVe Attitude des piétons visibilité vitesse nombre dimension 1 to 2 m 0.3 to 0.7 m 2 m.s -1

Comité de pilotage – Satory – 2 décembre SP1/ Région d’intérêt 2 seconds

Comité de pilotage – Satory – 2 décembre PC Computer Lidar Cameras (mono & stereo vision) CAN Network SP1/ DATABASE

Comité de pilotage – Satory – 2 décembre SP1/ DATABASE

Comité de pilotage – Satory – 2 décembre SP1/ DATABASE 49 séquences 20 Go de données 30 minutes de roulage Tous type d’environnement Tous les capteurs: - stereovision - lidar - données véhicules (vitesse…) 49 séquences 20 Go de données 30 minutes de roulage Tous type d’environnement Tous les capteurs: - stereovision - lidar - données véhicules (vitesse…)

Comité de pilotage – Satory – 2 décembre SP1/ Deliverables - Cahiers des charges: prestations, capteurs, calculateur… - Plan de validation - Séquences multicapteurs de données

Comité de pilotage – Satory – 2 décembre SP4/ Validation - Séquences issues de la base de donnée: - certaines séquences fournies aux laboratoires pour permettre une auto-évaluation - certaines séquences réservés pour la validation finale - Saisie des données réels sur l’ensemble des bases pour permettre des tests automatiques - Logiciel de test

Comité de pilotage – Satory – 2 décembre SP4/ Validation du SP2 For each value of confidence level Ic, calculation of: Good detection rate: Selectivity rate:

Comité de pilotage – Satory – 2 décembre SP4/ Hardware Un séminaire hardware a eu lieu mi-2008 entre les industriels et les académiques: - partage des expériences passées - identifications des problématiques Un questionnaire type va être diffusé (suite au prochain séminaire) pour évaluer la portabilité développement LOVe L’IEF porte ses algorithmes sur cible hardware pour vérifier la pertinence du questionnaire et le potentiel des architectures de vision pour l’automobile

Comité de pilotage – Satory – 2 décembre SP4/ Deliverables - Vérité terrain associée aux séquences - Logiciel de validation - Questionnaire hardware pour valider la portabilité - Portage d’algorithmes de l’IEF sur cible hardware

Comité de pilotage – Satory – 2 décembre 2008 ACTIVITES PERCEPTION MONO-CAPTEUR (SP2)

Comité de pilotage – Satory – 2 décembre Organisation du SP2 Responsable SP2 D. Aubert (INRETS – LCPC / LIVIC) T2.1 Zones d’intérêt / de travail D. Aubert (INRETS – LCPC / LIVIC) T2.2 Approches mono-vision E. Malis (INRIA – ICARE) T2.3 Approches stéréo P. Sayd (CEA – LIST) T2.4 Approches RADAR/LASER F. Nashashibi (ENSMP – CAOR)

Comité de pilotage – Satory – 2 décembre Qui fait quoi Zones d’intérêt / de travail Mono-visionStéréovisionRADAR/LIDAR CEA / LISTxxx ENSMP / CAORxxx ENSMP / CMMxx HEUDIASYCx INRIA / ICARExxx INRIA / IMARAxx LCPC – INRETS / LIVICxxx UBP / LASMEAxxxx UP XI / IEFxx

Comité de pilotage – Satory – 2 décembre Planning des Tâches / Livrables SP2 R : rapport R2.x.1 : Analyse des conséquences des spécifications sur l’algorithmique R2.x.2 : Rapport d’avancement sur le développement de la méthode et résultats préliminaires R2.x.3 : Rapport de synthèse de la méthode d’observation D : démonstration L : Logiciel + séquences de test (réelles et simulées)

Comité de pilotage – Satory – 2 décembre Etat d’avancement des développements  Zones de travail (prédiction trajectoire, segmentation) Prédiction : source CAOR Segmentation : source CMM prédiction : source LASMEA

Comité de pilotage – Satory – 2 décembre Etat d’avancement des développements  Zones d’intérêt (prédiction vulnérables, pré-reconnaissance) mono-caméra : source LIST Top view Side view height Obstacles Stéréovision : source IMARA Mono-vision (mouvement) : source ICARE Mono-caméra : source CMM

Comité de pilotage – Satory – 2 décembre Etat d’avancement des développements  Détection objets (mono-vision, stéréo, LASER) Stéréo : Source LIVIC LASER : Source Heudiasyc Mono-vision (mouvement) : Source IEF

Comité de pilotage – Satory – 2 décembre Etat d’avancement des développements  Reconnaissance piéton LASER : source CAOR LASER : source LASMEA Stéréovision : Source LIST Mono-vision : Source CAOR

Comité de pilotage – Satory – 2 décembre Etat d’avancement des développements  Suivi Stéréo : Source LIVIC Mono-vision : source IEF Mono-vision : source ICARE

Comité de pilotage – Satory – 2 décembre Livrables réalisés R2.1.1 : Analyse des conséquences des spécifications sur l’algorithmique (zones d’intérêt) R2.1.2 : Rapport d’avancement sur la détermination de la zone d’intérêt et résultats préliminaires Auteurs : CEA / LIST, ENSMP / CAOR, ENSMP / CMM, INRIA / ICARE, INRIA / IMARA, LCPC – INRETS / LIVIC, UBP / LASMEA R2.2.1 : Analyse des conséquences des spécifications sur l’algorithmique (mono-vision) R2.2.2 : Rapport d’avancement sur la détection/suivi mono-vision et résultats préliminaires Auteurs : CEA / LIST, ENSMP / CAOR, ENSMP / CMM, INRIA / ICARE, UBP / LASMEA, UP XI / IEF  R2.3.1 : Analyse des conséquences des spécifications sur l’algorithmique (stéréovision)  R2.3.2 : Rapport d’avancement sur la détection/suivi stéréovision et résultats préliminaires Auteurs : CEA / LIST, INRIA / ICARE, INRIA / IMARA, LCPC – INRETS / LIVIC, UBP / LASMEA, UP XI / IEF  R2.4.1 : Analyse des conséquences des spécifications sur l’algorithmique (RADAR/LIDAR)  R2.4.2 : Rapport d’avancement sur la détection/suivi RADAR/LASER et résultats préliminaires Auteurs : ENSMP / CAOR, HEUDIASYC, LCPC – INRETS / LIVIC, UBP / LASMEA  Une première version des logiciels de détection, suivi, reconnaissance

Comité de pilotage – Satory – 2 décembre Suites  Le SP2 se termine le 31 janvier 2009 : –Finaliser les modules –Livraison des logiciels (T0+25) –Rapport de synthèse sur les méthodes développées (T0+25) –Tests des modules (T0+27)

Comité de pilotage – Satory – 2 décembre 2008 SP3- Fusion de données

Comité de pilotage – Satory – 2 décembre SP3 - Présentation Fusion de données dans LOVe : fusion de données issues de « capteurs extéroceptifs » différents soit –Mono caméra –Stéréovision –Télémétrie Radar –Télémétrie Lidar

Comité de pilotage – Satory – 2 décembre SP3 - Approches développées Coopération de capteurs : Ex : le télémètre définit des zones dans lequel il a détecté un obstacle et la caméra confirme par un algorithme de reconnaissance de piétons Fusion d’objets : Fusion des résultats de détection/identification de piétons par plusieurs modalités. Fusion dans une grille d’occupation : Représentation de l’espace libre ou occupé par un obstacle et combinaison par filtrage bayésien Fusion de pistes : Fusion des résultats de plusieurs modalités de pistage. Paramétrage des algorithmes de fusion

Comité de pilotage – Satory – 2 décembre SP3 - Livrables Rapport R Avril 2008 «Avancement des méthodes combinées et de fusion. Résultats préliminaires » Les traitements du SP3 sont pour la plupart dépendants des résultats du SP2. Gestion des notes de détection, reconnaissance, et suivi par des capteurs (physiques et logiques) hétérogènes et pas toujours indépendants.

Comité de pilotage – Satory – 2 décembre SP3 - Quelques résultats Fusion série Fusion par pistage Fusion de grilles d’occupation Gestion des notes dans le pistage

Comité de pilotage – Satory – 2 décembre Fusion série (CAOR) Lidar seul Lidar puis Adaboost

Comité de pilotage – Satory – 2 décembre module de détection lorusl lprusl module de détection lorucm lorucs lorusl fichier de configuration Fusion d’objets par pistage Gestion des pistes Création des pistes Association Piste/Objet Destruction des pistes Mise à jour des pistes Notes det. et rec. Dimension Dynamique Note pistage données proprio Entrées asynchrones (Heudiasyc)

Comité de pilotage – Satory – 2 décembre Testé sur un seul capteur. Pour chaque piste, si la note de reconnaissance > seuil : Projection de la piste comme rectangle de hauteur 2 mètres et de largeur = diamètre de la piste Représentation des notes de détection et de reconnaissance par des barres latérales Fusion d’objets par pistage (Heudiasyc)

Comité de pilotage – Satory – 2 décembre Fusion laser/monocaméra (Lasmea)

Comité de pilotage – Satory – 2 décembre Fusion laser/monocaméra Redondance des 2 capteurs Age de la piste (Lasmea)

Comité de pilotage – Satory – 2 décembre Fusion dans une grille d’occupation (Emotion)

Comité de pilotage – Satory – 2 décembre Fusion dans une grille d’occupation (Emotion)

Comité de pilotage – Satory – 2 décembre Fusion dans une grille d’occupation (Emotion) Les résultats sont encourageants Problèmes rencontrés: Présence d'immeubles / route peu texturée ( mauvaise approximation du plan du sol) Problème de synchronisation des données odométriques et images Problèmes à résoudre: Temps de calcul Précision de la détection Tri entre obstacles et piétons

Comité de pilotage – Satory – 2 décembre SP3 - Conclusion Les partenaires attendent les résultats du SP2 3 modes principaux de fusion –Détection par lidar puis confirmation par caméra (série) –Fusion d’objets/pistes –Fusion de grille

Comité de pilotage – Satory – 2 décembre 2008 Management

Comité de pilotage – Satory – 2 décembre Avancement/Tableau de bord (?) aucune information sur l'état d'avancement (a) logiciel en cours de développement laboratoire (sans contexte LOVe spécifique) (b) une restitution des résultats existe sur données quelconques (c) le logiciel fournit des résultats sur données LOVe (d) le logiciel respecte les normes du wrapper (e) le logiciel est intégré dans l’architecture globale (dll disponible pour le wrapper) (f) le logiciel peut être évalué (par rapport à la vérité de terrain) sur la base de données LOVe test (g) le logiciel est livré dans sa version définitive (T0+24) (h) le logiciel est évalué (préciser le résultat de l’évaluation)

Comité de pilotage – Satory – 2 décembre Avancement/Tableau de bord

Comité de pilotage – Satory – 2 décembre Suivi technique

Comité de pilotage – Satory – 2 décembre Reformulation des objectifs (courrier du 11 septembre 08) Difficultés –De mener de front développements logiciels et spécification/portage Hardware, étant donnés les langages spécifiques utilisés par les cibles Ad Hoc. –Les laboratoires ne maîtrisent pas nécessairement les compétences requises pour le portage. Par ailleurs, les aspects de propriété intellectuelle ne permettent pas de facilement sous-traiter le portage à un partenaire tiers. Les attentes des industriels portent plus spécifiquement sur : –Différentes chaînes logicielles évaluées et caractérisées –L’état de l’art et les perspectives d’implémentation des chaînes logicielles. Un séminaire a d’ailleurs été organisé sur ce sujet et une équipe de l’IEF travaille spécifiquement dessus. La balance de cette modification n’est donc pas à sens unique car s’il n’y a pas d’implémentation temps réel sur cible spécifique d’une chaîne complète, le projet prévoit que –la proposition de plusieurs chaînes de traitement quasi optimales –dans le cadre de LOVe, mais à travers des partenariats individualisés, les industriels puissent intégrer au moins une des chaines (pluri concepteurs) dans un logiciel « stand alone » unique (nécessité de disposer des codes sources).

Comité de pilotage – Satory – 2 décembre Modification du planning 31/12/8 T0+25 T0+27 T0+30 T0+31

Comité de pilotage – Satory – 2 décembre 2008 Agenda  10h00 – Introduction - Laurent Trassoudaine  10h10 - Bilan d'activité de la 2° année 10h15 - SP1 – Sébastien Cornou/Benoist Fleury 10h30 – commentaires SP1 10h35 - SP2 - Didier Aubert 10h50 – commentaires SP2 11h05 – SP3 – Véronique Cherfaoui 11h10 – commentaires SP3  11h10 – Management du projet - Laurent Trassoudaine 11h10 - Suivi technique 11h15 - Reformulation des objectifs 11h25 - Modification du planning 11h35 - Suivi financier 11h45 – Retombées du projet  11h50 - Conclusion  12h00 – Fin du comité de pilotage

Comité de pilotage – Satory – 2 décembre Suivi financier

Comité de pilotage – Satory – 2 décembre Suivi financier – Courrier Valeo Nouveau budget Valeo : € donnant droit à une aide de : €

Comité de pilotage – Satory – 2 décembre Partenariats industriels connexes au projet LOVe Valeo – INRIA Sophia Antipolis (ICARE) –Achat d’une licence non commerciale du tracker ESM pour développement interne Valeo. –Cette licence pourra être renégociée pour une exploitation commerciale ultérieure. Renault – Valeo – CEA –Projet « fermé » en cours de montage

Comité de pilotage – Satory – 2 décembre Publications 14 publications dans des colloques internationaux avec comité de lecture 2 Publications dans un colloque national avec comité de lecture