La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles.

Présentations similaires


Présentation au sujet: "Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles."— Transcription de la présentation:

1 Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE LINPG Président du jury : J. Crowley Rapporteurs : D. Aubert J-M. Lavest Examinateurs : F. Devernay S. Cornou R. Horaud

2 Julien Morat 1 er Juillet 2008 Renault / INRIA LE CONTEXTE Centre de recherche et développement Renault : ~ personnes Direction de la recherche : ~ 120 personnes Electronique pour laide à la conduite : ~ 20 personnes L E CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE R ENAULT 2

3 Julien Morat 1 er Juillet 2008 Renault / INRIA LA PROBLÉMATIQUE L ES DIFFÉRENTES PRESTATIONS D AIDE À LA CONDUITE 3 [GBS05] Gavrila et al Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC) Détection de franchissement de marquage routier (Lane Keeping Assist) Détection anticipée de collision (Collision Warning ou Precrash)

4 Julien Morat 1 er Juillet 2008 Renault / INRIA LA PROBLÉMATIQUE Connaître létat du véhicule Vitesse des roues, GPS, centrale inertielle … Percevoir lenvironnement du véhicule RADAR, LIDAR, Sonar L ES BESOINS 4

5 Julien Morat 1 er Juillet 2008 Renault / INRIA LA PROBLÉMATIQUE Connaître létat du véhicule Vitesse des roues, GPS, centrale inertielle … Percevoir lenvironnement du véhicule RADAR, LIDAR, Sonar Caméra L ES BESOINS 5

6 Julien Morat 1 er Juillet 2008 Renault / INRIA LA PROBLÉMATIQUE Lutilisation de caméras pour percevoir le monde est un domaine largement couvert, mais lemport du système dans un véhicule de série soulève de nouvelles problématiques. Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC) Trois fonctions primordiales : Le calibrage La détection dobstacles La mesure de vitesse relative L ES OBJECTIFS DE LA THÈSE 6

7 Julien Morat 1 er Juillet 2008 Renault / INRIA PLAN DE LA PRÉSENTATION Modèles mathématiques I.Calibrage II.Détection dobstacles III.Mesure de vitesse 3-D Conclusions

8 Julien Morat 1 er Juillet 2008 Renault / INRIA caméra MODÈLES MATHÉMATIQUES M ODÉLISATION D UNE CAMÉRA 8 Centre optique Un objet 3-D

9 Julien Morat 1 er Juillet 2008 Renault / INRIA MODÈLES MATHÉMATIQUES M ODÉLISATION D UNE CAMÉRA 9 Objet projeté Ligne de vue rayon optique Un objet 3-D Centre optique

10 Julien Morat 1 er Juillet 2008 Renault / INRIA MODÈLES MATHÉMATIQUES M ODÉLISATION D UNE CAMÉRA 10

11 Julien Morat 1 er Juillet 2008 Renault / INRIA MODÈLES MATHÉMATIQUES M ODÉLISATION D UNE CAMÉRA 11 connuinconnu

12 Julien Morat 1 er Juillet 2008 Renault / INRIA inconnuconnu MODÈLES MATHÉMATIQUES R ECONSTRUCTION 3-D 12 ?

13 Julien Morat 1 er Juillet 2008 Renault / INRIA MODÈLES MATHÉMATIQUES R ECONSTRUCTION 3-D 13 inconnuconnus

14 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécision 4.Quantifier la qualité du système embarqué

15 Julien Morat 1 er Juillet 2008 Renault / INRIA CALIBRAGE Pour quun système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues. O BJECTIF

16 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1. O BJECTIF ET PRINCIPE

17 Julien Morat 1 er Juillet 2008 Renault / INRIA connu I. CALIBRAGE 1. O BJECTIF ET PRINCIPE 17 Connaître la fonction de projection P Distance focale Taille des pixels Nombre de pixels Distorsions … inconnu connu

18 Julien Morat 1 er Juillet 2008 Renault / INRIA connu I. CALIBRAGE Points 3-D connus : une mire 1. O BJECTIF ET PRINCIPE 18

19 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Acquisition dimages de la mire avec le système 1. O BJECTIF ET PRINCIPE 19

20 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Extraction des marques fiduciaires 1. O BJECTIF ET PRINCIPE 20 connu

21 Julien Morat 1 er Juillet 2008 Renault / INRIA inconnu connu I. CALIBRAGE 1. O BJECTIF ET PRINCIPE 21 Estimation par optimisation des paramètres p connu

22 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécision 4.Quantifier la qualité du système embarqué 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 22

23 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance) Le système doit être conçu pour atteindre ces performances. La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux. 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 23

24 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Exemple dun mauvais calibrage 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 24

25 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 25 Exemple dun mauvais calibrage

26 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction » Se mesure en mètres Du point du vue du constructeur, cest le critère essentiel de qualité du système 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 26

27 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection » Se mesure en pixels Minimiser cette différence est important pour les algorithmes 2. D ÉFINITION DE LA QUALITÉ DU CALIBRAGE 27

28 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécision A.Respect du modèle B.Qualité du calibrage C.Variation de la géométrie du capteur au cours du temps 4.Quantifier la qualité du système embarqué 3. L ES SOURCES D IMPRÉCISION 28

29 Julien Morat 1 er Juillet 2008 Renault / INRIA 3.A. L ES SOURCES D IMPRÉCISION : LE RESPECT DU MODÈLE I. CALIBRAGE 29 Caméra Centre optique

30 Julien Morat 1 er Juillet 2008 Renault / INRIA Caméra 3.A. L ES SOURCES D IMPRÉCISION : LE RESPECT DU MODÈLE I. CALIBRAGE 30 Pare-brise Respect du modèle 1

31 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 3.B. L ES SOURCES D IMPRÉCISION : QUALITÉ DU CALIBRAGE 31

32 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 3.B. L ES SOURCES D IMPRÉCISION : QUALITÉ DU CALIBRAGE 32

33 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 3.B. L ES SOURCES D IMPRÉCISION : QUALITÉ DU CALIBRAGE 33

34 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 3.C. L ES SOURCES D IMPRÉCISION : AU COURS DU TEMPS 34

35 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 3.C. L ES SOURCES D IMPRÉCISION : AU COURS DU TEMPS 35 Variation des paramètres 5

36 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécision 4.Quantifier la qualité du système embarqué A.Respect du modèle B.Le calibrage C.Au cours du temps 4. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ 36

37 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance) Lobjectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources dimprécision. 4. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ 37

38 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm) Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise. 4.A. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE 38

39 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécisions 4.Quantifier la qualité du système embarqué A.Respect du modèle B.Le calibrage C.Au cours du temps 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 39

40 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE La qualité du système dépend de : La configuration du système La mire Les algorithmes de calibrage Les erreurs de détection de la mire Les imperfections de construction de la mire … Simuler le processus de calibrage pour tester et évaluer linfluence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile, Permet de tester de nombreuses configurations. 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 40

41 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 41 simulation 1.Mire

42 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 42 simulation 1.Mire 2.Erreurs de fabrication

43 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 43 simulation 1.Mire 2.Erreurs de fabrication 3.Projection Paramètres réels

44 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 44 simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection

45 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 45 simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection 5.Calibrage Paramètres calibrés

46 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 46 simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection 5.Calibrage 6.Echantillonnage de la scène + Projection Paramètres réels

47 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 47 simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection 5.Calibrage 6.Echantillonnage de la scène + Projection 7.Reconstruction Paramètres calibrés

48 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 48 simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection 5.Calibrage 6.Echantillonnage de la scène + Projection 7.Reconstruction 8.Evaluation des erreurs de : reconstruction reprojection

49 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE 49 Cette méthode par simulation permet de tester : les différents algorithmes, les différentes configurations de système et les différentes mires Outil daide à la conception simulation 1.Mire 2.Erreurs de fabrication 3.Projection 4.Erreurs de détection 5.Calibrage 6.Echantillonnage de la scène + Projection 7.Reconstruction 8.Evaluation des erreurs de : reconstruction reprojection

50 Julien Morat 1 er Juillet 2008 Renault / INRIA 6 mm de focale, capteur 1/3, ligne de base 40 cm I. CALIBRAGE 4.B. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE m 7 mErreur* de reconstruction en cm 4.5 m 30 m 9.38Z0.38 * Erreur RMS

51 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE 1.Objectif et principe 2.Définition de la qualité du calibrage 3.Les sources dimprécisions 4.Quantifier la qualité du système embarqué A.Respect du modèle B.Le calibrage C.Au cours du temps 4.C. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS 51

52 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Validation de la rigidité de la caisse Même sous conditions extrêmes, le système reste calibré. 4.C. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS 52

53 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Extension de loutil de simulation pour tester les conséquences dune perte de calibrage Résultats Sur un échantillonnage de points à 31.5 m 53 4.C. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS Tangage +0.5°Lacet +0.5° Erreur* de reconstruction (cm) Erreur* de reprojection (pixel) Estimation des distances faussée Erreur de reprojection >1 pixel met en échec les algorithmes * Erreur RMS

54 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Le calibrage en ligne : permet de corriger un calibrage existant utilise des images « naturelles » pour calibrer en cours dutilisation Méthodes testées : adaptation dun « ajustement de faisceaux » qui minimise lerreur de reprojection Notre contribution : extension de loutil de simulation de calibrage pour tester les performances du calibrage en ligne 4.C. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS 54

55 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage Ne fonctionne pas pour une variation de langle de lacet 4.C. Q UANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS 55 Tangage +0.5°Lacet +0.5° AvantAprèsAvantAprès Erreur* de reconstruction (cm) * Erreur RMS Erreur de reprojection >1 pixel Erreur de reconstruction ~8 m. OK Bien fixer les caméras en lacet

56 Julien Morat 1 er Juillet 2008 Renault / INRIA I. CALIBRAGE Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage Des expérimentations sur bancs Validation du système optique + pare-brise Validation de la rigidité de la caisse Un outil daide à la conception et au dimensionnement Simulation du processus de calibrage Simulation de décalibrage Simulation de calibrage en ligne Evaluation quantitative des performances au cours de la vie du véhicule. C ONCLUSION 56

57 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 1.Objectifs et approches 2.Mise en correspondance stéréoscopique 3.Segmentation des obstacles

58 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Objectifs : Extraire linformation pertinente de la densité dinformation fournie par le capteur. Approches : Identification du mouvement Heinrich et al. [Hei02], Franke et al. [FH02], Rabe et al. [RFG07] Identification de certains types dobstacles (piétons, cycles, …) [BHD97, SMBD02, HKT+98, YC06,BBFL02, BBB05, LWLW06,…] Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], … 1. O BJECTIFS ET APPROCHES

59 Julien Morat 1 er Juillet 2008 Renault / INRIA obstacle ? II. DÉTECTION DOBSTACLES 1. O BJECTIFS ET APPROCHES Mise en correspondance stéréoscopique 2. Segmentation des obstacles

60 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 1.Objectifs et approches 2.Mise en correspondance stéréoscopique A.La problématique B.Etape préliminaire de simplification : la rectification C.Mise en correspondance par corrélation D.Choix dune rectification 3.Segmentation des obstacles PLAN

61 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE 61 Caméra gaucheCaméra droite

62 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Restriction de lespace de recherche 2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE 62

63 Julien Morat 1 er Juillet 2008 Renault / INRIA Une étape préliminaire simplificatrice : la rectification II. DÉTECTION DOBSTACLES 2.B. MISE EN CORRESPONDANCE : RECTIFICATION 63

64 Julien Morat 1 er Juillet 2008 Renault / INRIA Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale Il existe une infinité de rectifications valides [Dev97], [Zhang99] II. DÉTECTION DOBSTACLES 2.B. MISE EN CORRESPONDANCE : RECTIFICATION 64

65 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Pour un point de limage gauche, il faut estimer la position de son correspondant sur limage droite : disparité. 2.B. MISE EN CORRESPONDANCE : RECTIFICATION Disparité : -20 Distance : 1 m

66 Julien Morat 1 er Juillet 2008 Renault / INRIA Approche pour trouver la disparité : P. Fua 1993 II. DÉTECTION DOBSTACLES 2.C. MISE EN CORRESPONDANCE : CORRÉLATION Image gaucheImage droite 66

67 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.C. MISE EN CORRESPONDANCE : CORRÉLATION 67 Image de différenceImage gaucheImage droite

68 Julien Morat 1 er Juillet 2008 Renault / INRIA disparité différence Approche pour trouver la disparité : P. Fua 1993 II. DÉTECTION DOBSTACLES 2.C. MISE EN CORRESPONDANCE : CORRÉLATION Image gaucheImage droiteCarte de disparité 68 Eloigné Proche Echec

69 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 69 Image de différenceImage gaucheImage droite

70 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante. 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 70

71 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 71 Image de différenceImage gaucheImage droite

72 Julien Morat 1 er Juillet 2008 Renault / INRIA Les 9 paramètres de rectification permettent de choisir le faisceau de plans Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB + 98,PS04] Dans le cas dimages rectifiées un faisceau de plans déquation : II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 72 La disparité d x sélectionne un plan du faisceau

73 Julien Morat 1 er Juillet 2008 Renault / INRIA Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 73

74 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 74

75 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 75 Le cas fronto-parallèle Les caméras « regardent » dans la même direction Les distances focales sont identiques pour les 2 caméras La disparité nulle correspond à linfini Droite dintersection à linfini

76 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 76

77 Julien Morat 1 er Juillet 2008 Renault / INRIA Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 77

78 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 78

79 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 79 Image de différenceImage gaucheImage droite

80 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 2.D. MISE EN CORRESPONDANCE : CHOIX D UNE RECTIFICATION 80

81 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres. Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], 1.Objectifs et approches 2.Mise en correspondance stéréoscopique 3.Segmentation des obstacles A.Cumul des rectifications B.Résultats C.Agrégation PLAN

82 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 3.A. S EGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS 82 Frontale Plan de la route

83 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 3.A. S EGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS 83 disparité différence 8569

84 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 3.A. S EGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS 84 Frontale Plan de la route

85 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 3.B. S EGMENTATION DES OBSTACLES : RÉSULTATS 85

86 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double rectification contre ~89% sans. Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement. Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse. Pour évaluer sur des séquences réelles, il reste à gérer les imperfections de calibrage. 3.B. S EGMENTATION DES OBSTACLES : RÉSULTATS 86

87 Julien Morat 1 er Juillet 2008 Renault / INRIA Etat de lart Multi-rectification : Utilisation de 3 caméras (et rectifications) pour estimer lorientation locale de la surface et ainsi détecter la présence dobstacles routiers Williamson [Wil98]. Caractérisation des surfaces diso- disparité: Mandelbaum et al. [MMB + 98], Pollefeys et al. [PS04] Contributions Estimer la disparité plus finement par fusion des deux cartes de disparité Lien entre le choix de la rectification et le faisceau de plans diso-disparité II. DÉTECTION DOBSTACLES 3.B. S EGMENTATION DES OBSTACLES : RÉSULTATS 87

88 Julien Morat 1 er Juillet 2008 Renault / INRIA II. DÉTECTION DOBSTACLES 3.C. L AGRÉGATION 88

89 Julien Morat 1 er Juillet 2008 Renault / INRIA III. LA MESURE DE VITESSE 3-D 1.La problématique 2.Présentation de lalgorithme de Lucas & Kanade 3.Extension à la stéréoscopie 4.Gestion des variations de taille apparente 5.Résultats

90 Julien Morat 1 er Juillet 2008 Renault / INRIA III. LA MESURE DE VITESSE 3-D Certaines applications (comme lACC) réclament une mesure de vitesse relative précise. Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données 1. L A PROBLÉMATIQUE

91 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Image dun point 3-D 1. L A PROBLÉMATIQUE 91

92 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 1. L A PROBLÉMATIQUE 92 Déplacement 3-D : Flux de scène [VBR+99] Déplacement 2-D : Flux optique

93 Julien Morat 1 er Juillet 2008 Renault / INRIA Recherche dun mouvement dans une série de reconstructions successives [BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05]. Recherche de flux optiques puis reconstruction 3-D [ISK92, DHS02, RFG07, UF02]. III. MESURE DE VITESSE 3-D 1. L A PROBLÉMATIQUE 93

94 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 1.La problématique 2.Présentation de lalgorithme de Lucas & Kanade [BFSB92] 3.Extension à la stéréoscopie 4.Gestion des variations de taille apparente 5.Résultats P LAN 94

95 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Algorithme de suivi 2-D [BFSB92] 1. P RÉSENTATION DE L ALGORITHME DE L UCAS & K ANADE 95

96 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Algorithme de suivi 2-D [BFSB92] 1. P RÉSENTATION DE L ALGORITHME DE L UCAS & K ANADE 96

97 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Algorithme de suivi 2-D [BFSB92] 1. P RÉSENTATION DE L ALGORITHME DE L UCAS & K ANADE 97

98 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 1. P RÉSENTATION DE L ALGORITHME DE L UCAS & K ANADE 98 Algorithme de suivi 2-D Résolution itérative par méthode de Gauss-Newton

99 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 1. P RÉSENTATION DE L ALGORITHME DE L UCAS & K ANADE 99 Algorithme de suivi 2-D Résolution itérative par méthode de Gauss-Newton

100 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 100

101 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 101

102 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 102

103 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92] 2. E XTENSION À LA STÉRÉOSCOPIE 103 n vaut l pour « left » et r pour « right »

104 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 104

105 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 105 Le vecteur de paramètres P peut être représenté par Une paire de points 2-D : 4 paramètres pour 3 D.L. Cela revient à mesurer le flux optique et effectuer la reconstruction séparément

106 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Le vecteur de paramètres P peut être représenté par Un point 3-D dans lespace Euclidien : 3 paramètres pour 3 D.L. Calculs complexes 2. E XTENSION À LA STÉRÉOSCOPIE 106

107 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 2. E XTENSION À LA STÉRÉOSCOPIE 107 Le vecteur de paramètres P peut être représenté par Un point 2-D associé à la disparité : p = [x, y, d] T 3 paramètres pour 3 D.L. Simplifie les calculs

108 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 3. G ESTION DES VARIATIONS DE TAILLE APPARENTE 108

109 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 3. G ESTION DES VARIATIONS DE TAILLE APPARENTE 109

110 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 3. G ESTION DES VARIATIONS DE TAILLE APPARENTE 110

111 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Ajout dun paramètre w pour léchelle P = (x, y, d, w) La taille apparente est liée à la distance Z : La disparité d est liée à la distance Z : La variation de taille apparente est égale à la variation de disparité : Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire P = (x, y, d) 3. G ESTION DES VARIATIONS DE TAILLE APPARENTE 111

112 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 4. R ÉSULTATS 112

113 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 4. R ÉSULTATS 113

114 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 4. R ÉSULTATS 114

115 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D 4. R ÉSULTATS 115 d x y 0

116 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Lerreur pour la méthode utilisant lespace 3-D basé image et intégrant les variations de taille 4. R ÉSULTATS 116 Mesure parfaite Mesure erronée Erreur destimation d x y 0

117 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Quantifier les performances Bruit de mesure % déchecs Utilisation dun modèle de mélange de Gaussiennes 1ère Gaussienne étroite pour le bruit 2ème Gaussienne large pour les échecs 4. R ÉSULTATS 117

118 Julien Morat 1 er Juillet 2008 Renault / INRIA III. MESURE DE VITESSE 3-D Sans contrainte (2 trackers 2-D) Sigma 5 pixels 50% déchecs Avec des points 3-D (espace image) Sigma 5 pixels 40% déchecs Avec des points 3-D et variation de taille Sigma 0.1 pixel 10% déchecs 4. R ÉSULTATS 118 Séquence dévaluation spécialement conçue pour mettre en avant lapport de lalgorithme.

119 Julien Morat 1 er Juillet 2008 Renault / INRIA CONCLUSIONS

120 Julien Morat 1 er Juillet 2008 Renault / INRIA Extension de lalgorithme Lucas-Kanade multiples rectifications + agrégation Conception dun outil dévaluation CONCLUSIONS Etude de toute la chaine algorithmique B ILAN 120 Mesure de vitesse 3-D Détection dobstacles Calibrage Caméras Vitesses relatives aux obstacles

121 Julien Morat 1 er Juillet 2008 Renault / INRIA CONCLUSIONS Reste à valider sur des données réelles : Valider les simulations de calibrage. Gérer finement le calibrage pour appliquer les multiples rectifications sur des séquences réelles. Comparer la mesure 3-D par flux optique avec une mesure réelle métrée. P ERSPECTIVES 121

122 Julien Morat 1 er Juillet 2008 Renault / INRIA CONCLUSIONS Lavenir de la stéréoscopie pour les applications automobiles A court ou moyen terme Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément dun autre capteur (ex : Radar). A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses concurrents. Les problèmes de sureté de fonctionnement (fausses détections, ou détections manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte dhypothèses sur la scène permet de réduire les erreurs. Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations. P ERSPECTIVES 122

123 Julien Morat 1 er Juillet 2008 Renault / INRIA QUESTIONS Merci de votre attention 123


Télécharger ppt "Julien Morat 1 er Juillet 2008 Renault / INRIA1 er Juillet 2008 INRIA / Renault Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles."

Présentations similaires


Annonces Google