Comité de pilotage – Satory – 2 décembre 2008 1 Comité de Pilotage Mardi 2 décembre 2008 SATORY.

Présentation au sujet: "Comité de pilotage – Satory – 2 décembre 2008 1 Comité de Pilotage Mardi 2 décembre 2008 SATORY."— Transcription de la présentation:

1 Comité de pilotage – Satory – 2 décembre 2008 1 Comité de Pilotage Mardi 2 décembre 2008 SATORY

2 Comité de pilotage – Satory – 2 décembre 2008 Agenda  10h00 – Introduction - Laurent Trassoudaine  10h10 - Bilan d'activité de la 2° année 10h10 - SP1 – Sébastien Cornou/Benoist Fleury 10h25 – commentaires SP1 10h30 - SP2 - Didier Aubert 10h45 – commentaires SP2 10h50 – SP3 – Véronique Cherfaoui 11h05 – commentaires SP3  11h10 – Management du projet - Laurent Trassoudaine 11h10 - Suivi technique 11h15 - Reformulation des objectifs 11h25 - Modification du planning 11h35 - Suivi financier 11h45 – Retombées du projet  11h50 - Conclusion  12h00 – Fin du comité de pilotage

3 Comité de pilotage – Satory – 2 décembre 2008 3 Planning

4 Comité de pilotage – Satory – 2 décembre 2008 4 SP1/ Accidentologie (1/3) *CARE Database /EC (October 2007)

5 Comité de pilotage – Satory – 2 décembre 2008 5 Fatalities by transport mode* SP1/ Accidentologie (2/3) Total In urban areas *CARE Database /EC (March 2008)

6 Comité de pilotage – Satory – 2 décembre 2008 6 SP1/ Accidentologie (3/3) Ages of killed pedestrians* *CARE Database /EC (October 2007) 47%

7 Comité de pilotage – Satory – 2 décembre 2008 7 SP1/ Piéton LOVe Attitude des piétons visibilité vitesse nombre dimension 1 to 2 m 0.3 to 0.7 m 2 m.s -1

8 Comité de pilotage – Satory – 2 décembre 2008 8 SP1/ Région d’intérêt 2 seconds

9 Comité de pilotage – Satory – 2 décembre 2008 9 PC Computer Lidar Cameras (mono & stereo vision) CAN Network SP1/ DATABASE

10 Comité de pilotage – Satory – 2 décembre 2008 10 SP1/ DATABASE

11 Comité de pilotage – Satory – 2 décembre 2008 11 SP1/ DATABASE 49 séquences 20 Go de données 30 minutes de roulage Tous type d’environnement Tous les capteurs: - stereovision - lidar - données véhicules (vitesse…) 49 séquences 20 Go de données 30 minutes de roulage Tous type d’environnement Tous les capteurs: - stereovision - lidar - données véhicules (vitesse…)

12 Comité de pilotage – Satory – 2 décembre 2008 12 SP1/ Deliverables - Cahiers des charges: prestations, capteurs, calculateur… - Plan de validation - Séquences multicapteurs de données

13 Comité de pilotage – Satory – 2 décembre 2008 13 SP4/ Validation - Séquences issues de la base de donnée: - certaines séquences fournies aux laboratoires pour permettre une auto-évaluation - certaines séquences réservés pour la validation finale - Saisie des données réels sur l’ensemble des bases pour permettre des tests automatiques - Logiciel de test

14 Comité de pilotage – Satory – 2 décembre 2008 14 SP4/ Validation du SP2 For each value of confidence level Ic, calculation of: Good detection rate: Selectivity rate:

15 Comité de pilotage – Satory – 2 décembre 2008 15 SP4/ Hardware Un séminaire hardware a eu lieu mi-2008 entre les industriels et les académiques: - partage des expériences passées - identifications des problématiques Un questionnaire type va être diffusé (suite au prochain séminaire) pour évaluer la portabilité développement LOVe L’IEF porte ses algorithmes sur cible hardware pour vérifier la pertinence du questionnaire et le potentiel des architectures de vision pour l’automobile

16 Comité de pilotage – Satory – 2 décembre 2008 16 SP4/ Deliverables - Vérité terrain associée aux séquences - Logiciel de validation - Questionnaire hardware pour valider la portabilité - Portage d’algorithmes de l’IEF sur cible hardware

17 Comité de pilotage – Satory – 2 décembre 2008 ACTIVITES PERCEPTION MONO-CAPTEUR (SP2)

18 Comité de pilotage – Satory – 2 décembre 2008 18 Organisation du SP2 Responsable SP2 D. Aubert (INRETS – LCPC / LIVIC) T2.1 Zones d’intérêt / de travail D. Aubert (INRETS – LCPC / LIVIC) T2.2 Approches mono-vision E. Malis (INRIA – ICARE) T2.3 Approches stéréo P. Sayd (CEA – LIST) T2.4 Approches RADAR/LASER F. Nashashibi (ENSMP – CAOR)

19 Comité de pilotage – Satory – 2 décembre 2008 19 Qui fait quoi Zones d’intérêt / de travail Mono-visionStéréovisionRADAR/LIDAR CEA / LISTxxx ENSMP / CAORxxx ENSMP / CMMxx HEUDIASYCx INRIA / ICARExxx INRIA / IMARAxx LCPC – INRETS / LIVICxxx UBP / LASMEAxxxx UP XI / IEFxx

20 Comité de pilotage – Satory – 2 décembre 2008 20 Planning des Tâches / Livrables SP2 R : rapport R2.x.1 : Analyse des conséquences des spécifications sur l’algorithmique R2.x.2 : Rapport d’avancement sur le développement de la méthode et résultats préliminaires R2.x.3 : Rapport de synthèse de la méthode d’observation D : démonstration L : Logiciel + séquences de test (réelles et simulées)

21 Comité de pilotage – Satory – 2 décembre 2008 21 Etat d’avancement des développements  Zones de travail (prédiction trajectoire, segmentation) Prédiction : source CAOR Segmentation : source CMM prédiction : source LASMEA

22 Comité de pilotage – Satory – 2 décembre 2008 22 Etat d’avancement des développements  Zones d’intérêt (prédiction vulnérables, pré-reconnaissance) mono-caméra : source LIST Top view Side view height Obstacles Stéréovision : source IMARA Mono-vision (mouvement) : source ICARE Mono-caméra : source CMM

23 Comité de pilotage – Satory – 2 décembre 2008 23 Etat d’avancement des développements  Détection objets (mono-vision, stéréo, LASER) Stéréo : Source LIVIC LASER : Source Heudiasyc Mono-vision (mouvement) : Source IEF

24 Comité de pilotage – Satory – 2 décembre 2008 24 Etat d’avancement des développements  Reconnaissance piéton LASER : source CAOR LASER : source LASMEA Stéréovision : Source LIST Mono-vision : Source CAOR

25 Comité de pilotage – Satory – 2 décembre 2008 25 Etat d’avancement des développements  Suivi Stéréo : Source LIVIC Mono-vision : source IEF Mono-vision : source ICARE

26 Comité de pilotage – Satory – 2 décembre 2008 26 Livrables réalisés R2.1.1 : Analyse des conséquences des spécifications sur l’algorithmique (zones d’intérêt) R2.1.2 : Rapport d’avancement sur la détermination de la zone d’intérêt et résultats préliminaires Auteurs : CEA / LIST, ENSMP / CAOR, ENSMP / CMM, INRIA / ICARE, INRIA / IMARA, LCPC – INRETS / LIVIC, UBP / LASMEA R2.2.1 : Analyse des conséquences des spécifications sur l’algorithmique (mono-vision) R2.2.2 : Rapport d’avancement sur la détection/suivi mono-vision et résultats préliminaires Auteurs : CEA / LIST, ENSMP / CAOR, ENSMP / CMM, INRIA / ICARE, UBP / LASMEA, UP XI / IEF  R2.3.1 : Analyse des conséquences des spécifications sur l’algorithmique (stéréovision)  R2.3.2 : Rapport d’avancement sur la détection/suivi stéréovision et résultats préliminaires Auteurs : CEA / LIST, INRIA / ICARE, INRIA / IMARA, LCPC – INRETS / LIVIC, UBP / LASMEA, UP XI / IEF  R2.4.1 : Analyse des conséquences des spécifications sur l’algorithmique (RADAR/LIDAR)  R2.4.2 : Rapport d’avancement sur la détection/suivi RADAR/LASER et résultats préliminaires Auteurs : ENSMP / CAOR, HEUDIASYC, LCPC – INRETS / LIVIC, UBP / LASMEA  Une première version des logiciels de détection, suivi, reconnaissance

27 Comité de pilotage – Satory – 2 décembre 2008 27 Suites  Le SP2 se termine le 31 janvier 2009 : –Finaliser les modules –Livraison des logiciels (T0+25) –Rapport de synthèse sur les méthodes développées (T0+25) –Tests des modules (T0+27)

28 Comité de pilotage – Satory – 2 décembre 2008 SP3- Fusion de données

29 Comité de pilotage – Satory – 2 décembre 2008 29 SP3 - Présentation Fusion de données dans LOVe : fusion de données issues de « capteurs extéroceptifs » différents soit –Mono caméra –Stéréovision –Télémétrie Radar –Télémétrie Lidar

30 Comité de pilotage – Satory – 2 décembre 2008 30 SP3 - Approches développées Coopération de capteurs : Ex : le télémètre définit des zones dans lequel il a détecté un obstacle et la caméra confirme par un algorithme de reconnaissance de piétons Fusion d’objets : Fusion des résultats de détection/identification de piétons par plusieurs modalités. Fusion dans une grille d’occupation : Représentation de l’espace libre ou occupé par un obstacle et combinaison par filtrage bayésien Fusion de pistes : Fusion des résultats de plusieurs modalités de pistage. Paramétrage des algorithmes de fusion

31 Comité de pilotage – Satory – 2 décembre 2008 31 SP3 - Livrables Rapport R3.2.2. Avril 2008 «Avancement des méthodes combinées et de fusion. Résultats préliminaires » Les traitements du SP3 sont pour la plupart dépendants des résultats du SP2. Gestion des notes de détection, reconnaissance, et suivi par des capteurs (physiques et logiques) hétérogènes et pas toujours indépendants.

32 Comité de pilotage – Satory – 2 décembre 2008 32 SP3 - Quelques résultats Fusion série Fusion par pistage Fusion de grilles d’occupation Gestion des notes dans le pistage

33 Comité de pilotage – Satory – 2 décembre 2008 33 Fusion série (CAOR) Lidar seul Lidar puis Adaboost

34 Comité de pilotage – Satory – 2 décembre 2008 34 module de détection lorusl lprusl module de détection lorucm lorucs lorusl fichier de configuration Fusion d’objets par pistage Gestion des pistes Création des pistes Association Piste/Objet Destruction des pistes Mise à jour des pistes Notes det. et rec. Dimension Dynamique Note pistage données proprio Entrées asynchrones (Heudiasyc)

35 Comité de pilotage – Satory – 2 décembre 2008 35 Testé sur un seul capteur. Pour chaque piste, si la note de reconnaissance > seuil : Projection de la piste comme rectangle de hauteur 2 mètres et de largeur = diamètre de la piste Représentation des notes de détection et de reconnaissance par des barres latérales Fusion d’objets par pistage (Heudiasyc)

36 Comité de pilotage – Satory – 2 décembre 2008 36 Fusion laser/monocaméra (Lasmea)

37 Comité de pilotage – Satory – 2 décembre 2008 37 Fusion laser/monocaméra Redondance des 2 capteurs Age de la piste (Lasmea)

38 Comité de pilotage – Satory – 2 décembre 2008 38 Fusion dans une grille d’occupation (Emotion)

39 Comité de pilotage – Satory – 2 décembre 2008 39 Fusion dans une grille d’occupation (Emotion)

40 Comité de pilotage – Satory – 2 décembre 2008 40 Fusion dans une grille d’occupation (Emotion) Les résultats sont encourageants Problèmes rencontrés: Présence d'immeubles / route peu texturée ( mauvaise approximation du plan du sol) Problème de synchronisation des données odométriques et images Problèmes à résoudre: Temps de calcul Précision de la détection Tri entre obstacles et piétons

41 Comité de pilotage – Satory – 2 décembre 2008 41 SP3 - Conclusion Les partenaires attendent les résultats du SP2 3 modes principaux de fusion –Détection par lidar puis confirmation par caméra (série) –Fusion d’objets/pistes –Fusion de grille

42 Comité de pilotage – Satory – 2 décembre 2008 Management

43 Comité de pilotage – Satory – 2 décembre 2008 43 Avancement/Tableau de bord (?) aucune information sur l'état d'avancement (a) logiciel en cours de développement laboratoire (sans contexte LOVe spécifique) (b) une restitution des résultats existe sur données quelconques (c) le logiciel fournit des résultats sur données LOVe (d) le logiciel respecte les normes du wrapper (e) le logiciel est intégré dans l’architecture globale (dll disponible pour le wrapper) (f) le logiciel peut être évalué (par rapport à la vérité de terrain) sur la base de données LOVe test (g) le logiciel est livré dans sa version définitive (T0+24) (h) le logiciel est évalué (préciser le résultat de l’évaluation)

44 Comité de pilotage – Satory – 2 décembre 2008 44 Avancement/Tableau de bord

45 Comité de pilotage – Satory – 2 décembre 2008 45 Suivi technique 2007 2008

46 Comité de pilotage – Satory – 2 décembre 2008 46 Reformulation des objectifs (courrier du 11 septembre 08) Difficultés –De mener de front développements logiciels et spécification/portage Hardware, étant donnés les langages spécifiques utilisés par les cibles Ad Hoc. –Les laboratoires ne maîtrisent pas nécessairement les compétences requises pour le portage. Par ailleurs, les aspects de propriété intellectuelle ne permettent pas de facilement sous-traiter le portage à un partenaire tiers. Les attentes des industriels portent plus spécifiquement sur : –Différentes chaînes logicielles évaluées et caractérisées –L’état de l’art et les perspectives d’implémentation des chaînes logicielles. Un séminaire a d’ailleurs été organisé sur ce sujet et une équipe de l’IEF travaille spécifiquement dessus. La balance de cette modification n’est donc pas à sens unique car s’il n’y a pas d’implémentation temps réel sur cible spécifique d’une chaîne complète, le projet prévoit que –la proposition de plusieurs chaînes de traitement quasi optimales –dans le cadre de LOVe, mais à travers des partenariats individualisés, les industriels puissent intégrer au moins une des chaines (pluri concepteurs) dans un logiciel « stand alone » unique (nécessité de disposer des codes sources).

47 Comité de pilotage – Satory – 2 décembre 2008 47 Modification du planning 31/12/8 T0+25 T0+27 T0+30 T0+31

48 Comité de pilotage – Satory – 2 décembre 2008 Agenda  10h00 – Introduction - Laurent Trassoudaine  10h10 - Bilan d'activité de la 2° année 10h15 - SP1 – Sébastien Cornou/Benoist Fleury 10h30 – commentaires SP1 10h35 - SP2 - Didier Aubert 10h50 – commentaires SP2 11h05 – SP3 – Véronique Cherfaoui 11h10 – commentaires SP3  11h10 – Management du projet - Laurent Trassoudaine 11h10 - Suivi technique 11h15 - Reformulation des objectifs 11h25 - Modification du planning 11h35 - Suivi financier 11h45 – Retombées du projet  11h50 - Conclusion  12h00 – Fin du comité de pilotage

49 Comité de pilotage – Satory – 2 décembre 2008 49 Suivi financier

50 Comité de pilotage – Satory – 2 décembre 2008 50 Suivi financier – Courrier Valeo Nouveau budget Valeo : 777 760 € donnant droit à une aide de :201 480 €

51 Comité de pilotage – Satory – 2 décembre 2008 51 Partenariats industriels connexes au projet LOVe Valeo – INRIA Sophia Antipolis (ICARE) –Achat d’une licence non commerciale du tracker ESM pour développement interne Valeo. –Cette licence pourra être renégociée pour une exploitation commerciale ultérieure. Renault – Valeo – CEA –Projet « fermé » en cours de montage

52 Comité de pilotage – Satory – 2 décembre 2008 52 Publications 14 publications dans des colloques internationaux avec comité de lecture 2 Publications dans un colloque national avec comité de lecture