Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG
Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG Président du jury : J. Crowley Rapporteurs : D. Aubert J-M. Lavest Examinateurs : F. Devernay S. Cornou R. Horaud Présentation qui va durer 45 min je présente mes travaux de thèse Thèse CIFRE : a mi-temps INRIA (Devernay) / Renault (Cornou)

Le centre de recherche et développement de Renault
Le contexte Le centre de recherche et développement de Renault Centre de recherche et développement Renault : ~ personnes Direction de la recherche : ~ 120 personnes Electronique pour l’aide à la conduite : ~ 20 personnes

Les différentes prestations d’aide à la conduite
La problématique Les différentes prestations d’aide à la conduite Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC) Détection de franchissement de marquage routier (Lane Keeping Assist) Détection anticipée de collision (Collision Warning ou Precrash) Au centre de recherche sont développé de nouvelles prestations afin d’améliorer la sécurité et le confort des véhicules. Comme exemple de prestations envisagées : [GBS05] Gavrila et al

Connaître l’état du véhicule Percevoir l’environnement du véhicule
La problématique Les besoins Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle … Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar

Connaître l’état du véhicule Percevoir l’environnement du véhicule
La problématique Les besoins Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle … Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar Caméra Caméra Semble avoir des performances similaires Coût attractif Peut remplacer plusieurs capteurs Renault souhaite étudier l’utilisation d’une caméra en remplacement (ou complément) du RADAR/LIDAR - semble présenter des performances similaires pour un coût attractif, mais surtout elle permettrait à elle seule de remplacer plusieurs capteurs

Les objectifs de la thèse
La problématique Les objectifs de la thèse L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques. Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC) Trois fonctions primordiales : Le calibrage La détection d’obstacles La mesure de vitesse relative L’information fournie par les caméras n’est pas utilisable directement et doit être traitée. Même si c’est un sujet largement couvert par la littérature, l’emport du système dans un véhicule de série soulève de nouvelles problématiques. Le souhait de Renault est d’identifier ces problématiques, et d’y apporter des éléments de réponse.

Plan de la présentation
Modèles mathématiques Calibrage Détection d’obstacles Mesure de vitesse 3-D Conclusions Ce qui conduit au plan suivant

Modèles mathématiques
Modélisation d’une caméra Un objet 3-D caméra Plan image Centre optique

Modélisation d’une caméra Ligne de vue rayon optique Un objet 3-D Plan image Objet projeté Centre optique

Modélisation d’une caméra

Modélisation d’une caméra inconnu connu

Reconstruction 3-D connu inconnu ?

Reconstruction 3-D connus inconnu

I. calibrage Objectif et principe
Définition de la qualité du calibrage Les sources d’imprécision Quantifier la qualité du système embarqué

Calibrage Objectif Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues. Pour qu’un système stéréoscopique puisse donner une mesure de distance en mètres, toutes ses caractéristiques doivent être connues.

≠ I. Calibrage 1. Objectif et principe
Comme toutes les caméras, même de modèle identique, sont différentes, il faut les calibrer/étalonner pour connaître leurs caractéristiques propre.

Connaître la fonction de projection P
I. Calibrage 1. Objectif et principe Connaître la fonction de projection P connu inconnu Ces caractéristiques sont synthétisées sous la forme d’un vecteur de paramètre p. Le calibrage (ou étalonnage) est l’opération qui consiste à retrouver p à partir de points 3-D et 2-D connus. connu Distance focale Taille des pixels Nombre de pixels Distorsions …

Points 3-D connus : une mire
I. Calibrage 1. Objectif et principe Points 3-D connus : une mire connu Les points 3-D connus sont matérialisés sous la forme d’une mire 3-D. Le damier de cette image est une mire très couramment utilisée.

Acquisition d’images de la mire avec le système
I. Calibrage 1. Objectif et principe Acquisition d’images de la mire avec le système La mire est ensuite présentée au système stéréoscopique

Extraction des marques fiduciaires
I. Calibrage 1. Objectif et principe Extraction des marques fiduciaires Les points de la mire sont ensuite extraits automatiquement avec une précision sous-pixelique. connu connu

Estimation par optimisation des paramètres p
I. Calibrage 1. Objectif et principe Estimation par optimisation des paramètres p connu La connaissance de la mire et les points détectés permettent de calibrer, c’est-à-dire de trouver les paramètres p. connu connu inconnu

2. Définition de la qualité du calibrage
I. Calibrage 2. Définition de la qualité du calibrage Objectif et principe Définition de la qualité du calibrage Les sources d’imprécision Quantifier la qualité du système embarqué Je vais maintenant parler de qualité du calibrage

I. Calibrage 2. Définition de la qualité du calibrage Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance) Le système doit être conçu pour atteindre ces performances. La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux. Les applications visée requiert une certaine précision. Par exemple, pour réguler la distance de sécurité, la perception doit être précise à 15 cm pour des objets a 3 m de distance, et a 1m 50 pour des objets situés à 30 m. Le système doit conçu pour atteindre ces performances. La qualité du calibrage a des conséquences directes sur la qualité du système, nous étudions la qualité du calibrage. En effet, un mauvais calibrage engendre une perception faussée de l’environnement ou met le système en défaut.

I. Calibrage 2. Définition de la qualité du calibrage Exemple d’un mauvais calibrage Pour illustrer ce propos, je présente un exemple de conséquence d’un mauvais calibrage. Ce schéma représente un système stéréoscopique qui observe un point 3-D.

I. Calibrage 2. Définition de la qualité du calibrage Exemple d’un mauvais calibrage Les caractéristiques calibrées (en rouge) sont différentes de caractéristiques réelles (en pointillés). Premier constat : les rayons optique issus des points 2-D ne s’intersectent pas.

I. Calibrage 2. Définition de la qualité du calibrage Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction » Se mesure en mètres Du point du vue du constructeur, c’est le critère essentiel de qualité du système Deuxième constat, même si on choisi un point 3-D qui passe au plus près des rayons optiques, il ne correspond pas au vrai point 3–D. En d’autres terme, le point reconstruit, c’est-à-dire perçu, diffère de la réalité. Cet écart entre la réalité et ce que perçoit le système s’appelle « erreur de reconstruction ». Du point de vue d’un industriel, c’est évidement le critère essentiel de qualité.

I. Calibrage 2. Définition de la qualité du calibrage Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection » Se mesure en pixels Minimiser cette différence est important pour les algorithmes Ensuite, lorsque l’on reprojette le point reconstruit dans les images, on obtient des points différents de ceux observés. Cet écart provient du fait que le point reconstruit n’est pas sur les rayons optiques. Cet écart, qui se mesure en pixel dans les images, ne permet pas de quantifier directement la qualité du système, mais il est toutefois important pour la suite des traitements.

3. Les sources d’imprécision
I. Calibrage 3. Les sources d’imprécision Objectif et principe Définition de la qualité du calibrage Les sources d’imprécision Respect du modèle Qualité du calibrage Variation de la géométrie du capteur au cours du temps Quantifier la qualité du système embarqué Je vais maintenant expliquer qu’est ce qui peut entrainer un calibrage de mauvaise qualité.

3.A. Les sources d’imprécision : le respect du modèle
I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle Centre optique Lorsque j’ai présenté le modèle de caméra, j’ai parlé du centre optique. Tout les rayons optiques passent par ce point. Caméra

3.A. Les sources d’imprécision : le respect du modèle
I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle ? Mais cette hypothèse n’est pas forcement valide lorsque la caméra est placée derrière le pare-brise. Un écart entre le modèle et la réalité peut entrainer un calibrage imparfait. Caméra Respect du modèle 1 Pare-brise

3.B. Les sources d’imprécision : qualité du calibrage
I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

3.C. Les sources d’imprécision : au cours du temps
I. Calibrage 3.C. Les sources d’imprécision : au cours du temps Enfin, une modification au cours du temps des caractéristiques du système a pour conséquence de le décalibrer.

3.C. Les sources d’imprécision : au cours du temps
I. Calibrage 3.C. Les sources d’imprécision : au cours du temps Variation des paramètres 5

4. Quantifier la qualité du système embarqué
I. Calibrage 4. Quantifier la qualité du système embarqué Objectif et principe Définition de la qualité du calibrage Les sources d’imprécision Quantifier la qualité du système embarqué Respect du modèle Le calibrage Au cours du temps

4. Quantifier la qualité du système embarqué
I. Calibrage 4. Quantifier la qualité du système embarqué Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance) L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision. Rappelons que ce qui intéresse le constructeur c’est de savoir si le système calibré peut atteindre la précision requise. Donc, je vais maintenant examiner cette qualité en fonction des 5 sources d’imprécision.

4.A. Quantifier la qualité du système embarqué : respect du modèle
I. Calibrage 4.A. Quantifier la qualité du système embarqué : respect du modèle Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm) Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise. Le premier point à vérifier, je le rappelle, c’est le respect de l’hypothèse de projection centrale. EN colaboration avec S. Ramalingam et P. Sturm, on a vérifier par des expérimentations que le modèle à projection central reste valide même en présence du pare-brise. Comme ce modèle est respecté, les caméras peuvent être placée à cet endroit.

4.B. Quantifier la qualité du système embarqué : le calibrage
I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage Objectif et principe Définition de la qualité du calibrage Les sources d’imprécisions Quantifier la qualité du système embarqué Respect du modèle Le calibrage Au cours du temps Il faut ensuite étudier la qualité du système en fonction de la procédure de calibrage.

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage La qualité du système dépend de : La configuration du système La mire Les algorithmes de calibrage Les erreurs de détection de la mire Les imperfections de construction de la mire … Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile, Permet de tester de nombreuses configurations. Comme la qualité du calibrage dépend de nombreux facteurs, il est déraisonnable de vérifier cette question par l’expérimentation. A la place, je propose de tester ces configurations par des simulations.

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Paramètres réels

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Erreurs de détection

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Erreurs de détection Calibrage calibrage Paramètres calibrés Ces 5 étape simule une procédure de calibrage

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Erreurs de détection Calibrage Echantillonnage de la scène + Projection calibrage Paramètres réels

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Erreurs de détection Calibrage Echantillonnage de la scène + Projection Reconstruction calibrage Paramètres calibrés Ces deux étapes simule le fonctionnement du système calibré

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation Mire Erreurs de fabrication Projection Erreurs de détection Calibrage Echantillonnage de la scène + Projection Reconstruction Evaluation des erreurs de : reconstruction reprojection calibrage Enfin, la comparaison entre les échantillons et les points reconstruits par le système donne la qualité du système.

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage Cette méthode par simulation permet de tester : les différents algorithmes, les différentes configurations de système et les différentes mires Outil d’aide à la conception simulation Mire Erreurs de fabrication Projection Erreurs de détection Calibrage Echantillonnage de la scène + Projection Reconstruction Evaluation des erreurs de : reconstruction reprojection calibrage Plus qu’une validation, j’ai proposé un outil d’aide à la conception et au dimensionnement d’un système stéréoscopique. Cette approche permet d’étudier et d’identifier les points auxquels il faut accorder de l’importance pour obtenir un calibrage de qualité.

I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage 6 mm de focale, capteur 1/3’’, ligne de base 40 cm Je donne ici un exemple qui illustre que la taille de la mire influe sur les performances du système. Une petite mire, couvrant un espace allant de 4 a 7 m permet au système d’atteindre une précision de reconstruction de 9 cm sur un objet situé à 30 m. Alors qu’une mire recouvrant tout le volume utile permet d’atteindre une précision inférieur au cm. Cet exemple illustre une source d’imprécision, pour avoir la performance du système, il faut considérer toutes les autres. 4.5 m 7 m Erreur* de reconstruction en cm 4.5 m  30 m 9.38 Z 0.38 * Erreur RMS

4.C. Quantifier la qualité du système embarqué : au cours du temps
I. Calibrage 4.C. Quantifier la qualité du système embarqué : au cours du temps Objectif et principe Définition de la qualité du calibrage Les sources d’imprécisions Quantifier la qualité du système embarqué Respect du modèle Le calibrage Au cours du temps Considérons maintenant que le système est calibré. Le véhicule équipé va ensuite être mis en circulation et subir des conditions extrêmes. La question qui intéresse évidement Renault : « Ces conditions sont elles de nature à decalibrer le système ? »

I. Calibrage 4.C. Quantifier la qualité du système embarqué : au cours du temps Validation de la rigidité de la caisse Même sous conditions extrêmes, le système reste calibré. Pour vérifier que le système reste calibré en condition extrême, j’ai placé le véhicule sur un banc « vibrant » reproduisant des conditions de roulage extrême. J’ai ensuite vérifié que pendant toute la durée de l’excitation, le système reste calibré.

I. Calibrage 4.C. Quantifier la qualité du système embarqué : au cours du temps Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage Résultats Sur un échantillonnage de points à 31.5 m Tangage +0.5° Lacet +0.5° Erreur* de reconstruction (cm) 20.8 1480 Erreur* de reprojection (pixel) 3.49 0.02 Par des expérimentations, j’ai pu valider sur des courtes durées. Maintenant, pour comprendre les conséquences d’un declibrage, j’ai étendu la méthode de simulation, pour simuler des décalibrages et de quantifier leur conséquences. Une des conclusions de ces simulations, est que le système réagit différemment suivant le paramètre (la caractéristique) qui varie au cours du temps. * Erreur RMS Erreur de reprojection >1 pixel met en échec les algorithmes Estimation des distances faussée

I. Calibrage 4.C. Quantifier la qualité du système embarqué : au cours du temps Le calibrage en ligne : permet de corriger un calibrage existant utilise des images « naturelles » pour calibrer en cours d’utilisation Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne Finalement, comme il est impossible de garantir que le système restera calibré durant toute la durée de vie du véhicule, j’ai étudier la possibilité de calibrer le système en ligne.

I. Calibrage 4.C. Quantifier la qualité du système embarqué : au cours du temps Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage Ne fonctionne pas pour une variation de l’angle de lacet Bien fixer les caméras en lacet Tangage +0.5° Lacet +0.5° Avant Après Erreur* de reconstruction (cm) 20.8 10-3 1480 898 Revérifier les chiffres … Une augmentation anormale de l’erreur de reproj * Erreur RMS OK Erreur de reprojection >1 pixel Erreur de reconstruction ~8 m.

I. Calibrage Conclusion Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage Des expérimentations sur bancs Validation du système optique + pare-brise Validation de la rigidité de la caisse Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage Simulation de décalibrage Simulation de calibrage en ligne Evaluation quantitative des performances au cours de la vie du véhicule.

II. Détection d’obstacles
Objectifs et approches Mise en correspondance stéréoscopique Segmentation des obstacles

1. Objectifs et approches Objectifs : Extraire l’information pertinente de la densité d’information fournie par le capteur. Approches : Identification du mouvement Heinrich et al. [Hei02], Franke et al. [FH02], Rabe et al. [RFG07] Identification de certains types d’obstacles (piétons, cycles, …) [BHD97, SMBD02, HKT+98, YC06,BBFL02, BBB05, LWLW06,…] Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], … Les images fournies par le système stéréoscopique contiennent une information extrêmement riche. L’étape de détection d’obstacles consiste à en extraire l’information pertinente, à savoir la position des obstacles potentiels. Pour se faire, il existe trois types d’approches…

1. Objectifs et approches 2. Segmentation des obstacles obstacle ? Dans cette dernière famille d’approche, le problème de détection d’obstacle est double. 1 – il faut mettre en correspondance un même point dans les deux vues pour pouvoir le trianguler/reconstruire 2- une fois ce point reconstruit, il faut déterminer s’il s’agit d’un obstacle ou de la route. 1. Mise en correspondance stéréoscopique

plan Objectifs et approches Mise en correspondance stéréoscopique La problématique Etape préliminaire de simplification : la rectification Mise en correspondance par corrélation Choix d’une rectification Segmentation des obstacles

2.A. mise en correspondance : la problématique Le principe de la mise en correspondance est de chercher parmi les points de l’image droite, celui qui correspond le mieux à celui choisi dans l’image gauche. Caméra gauche Caméra droite

2.A. mise en correspondance : la problématique Restriction de l’espace de recherche Par construction, nous sommes assuré que le correspondant d’un point se trouve nécessairement sur une droite connue de l’autre image. Cette propriété est systématiquement utilisée pour simplifier la recherche.

2.B. mise en correspondance : rectification Une étape préliminaire simplificatrice : la rectification Si je reprend les deux images du début, et que je prend 2 points en exemple, voila les lignes de recherche associées. Je suis assuré que les correspondants des points bleus se trouvent sur ces lignes. Image gauche rectifiée Image droite rectifiée

2.B. mise en correspondance : rectification Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale Il existe une infinité de rectifications valides [Dev97], [Zhang99] Pour simplifier encore la recherche, et surtout les calculs, il est d’usage de déformer les deux images pour rendre ces lignes horizontales. Cette déformation préalable s’appelle la rectification. Il existe une multitude de rectifications possibles. En générale, c’est celle qui déforme le moins qui est retenue. Image gauche rectifiée Image droite rectifiée

2.B. mise en correspondance : rectification Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité. Disparité : -20 Distance : 1 m Dès lors, mettre en correspondance signifie trouver la position du point recherché sur cette ligne. (clic) Si j’exprime cette position relativement au point dans l’image gauche(clic), alors j’obtiens une position relative en pixel qui s’appelle disparité. La disparité est liée à la distance. Par convention, vers la gauche se trouvent les disparités négatives, et vers la droite, les disparités positives. + -

2.C. mise en correspondance : corrélation Approche pour trouver la disparité : P. Fua 1993 Image gauche Image droite Pour le trouver, le point rechercher est caractérisé par la fenêtre de texture qui l’entoure. Les fenêtres « candidates » sont toutes comparées à la fenêtre recherchée.

2.C. mise en correspondance : corrélation Image de différence Image gauche Image droite Le mesure de différence entre les deux fenêtres donne l’indication de ressemblance.

2.C. mise en correspondance : corrélation Approche pour trouver la disparité : P. Fua 1993 Eloigné Proche Echec Image gauche Image droite Carte de disparité Si l’on calcul la différence pour chaque fenêtre, on obtient la courbe de différence. Le minimum de cette courbe correspond au point le plus ressemblant, c’est le correspondant recherché. La disparité est ensuite codée par une couleur. La mise en correspondance de tous les points de l’image gauche produit une carte de disparité : proche, éloigné, échec. disparité différence

2.D. mise en correspondance : choix d’une rectification Image gauche Image de différence Image droite L’utilisation de fenêtre de texture à ses limites. En effet, certaines surfaces apparaissent à l’identique dans les deux images : ex voiture. Mais d’autres surface ont une apparence qui diffèrent. La mise en correspondance marche mieux lorsque l’apparence du point est identique dans les deux images. (suivant)

2.D. mise en correspondance : choix d’une rectification Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante. En fait, l’apparence est identique lorsque la disparité est constante.

2.D. mise en correspondance : choix d’une rectification Image gauche Image de différence Image droite

2.D. mise en correspondance : choix d’une rectification Les surfaces de disparité constante forment : Dans le cas général  des surfaces de section conique [MMB+98 ,PS04] Dans le cas d’images rectifiées  un faisceau de plans d’équation : Les 9 paramètres de rectification permettent de choisir le faisceau de plans Une partie de ma travail a consisté à identifier de ces surfaces. Il est évidement préférable que ces plans correspondent a des surfaces importantes de la scène. Sans rectification, ces surfaces sont complexes. Mais j‘ai prouvé que lorsque les images sont rectifié La disparité dx sélectionne un plan du faisceau

2.D. mise en correspondance : choix d’une rectification Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras Le choix des 9 paramètres de rectification permet donc de choisir la configuration de ces plans. Je rappelle que la mise en correspondance marche mieux lorsque l’apparence du point est identique dans les deux images. Donc je choisis les paramètres de rectification de manière a faire coïncider les plans avec des surfaces qui sont potentiellement des obstacles, … (suivant)

2.D. mise en correspondance : choix d’une rectification … c-a-d face aux caméras

2.D. mise en correspondance : choix d’une rectification Le cas fronto-parallèle Les caméras « regardent » dans la même direction Les distances focales sont identiques pour les 2 caméras La disparité nulle correspond à l’infini Droite d’intersection à l’infini

2.D. mise en correspondance : choix d’une rectification

2.D. mise en correspondance : choix d’une rectification Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route Une autre surface très importante de la scène, c’est la route. De la même manière je vais m’arranger pour faire coïncider un des ces plans avec le plan du sol.

2.D. mise en correspondance : choix d’une rectification Image gauche Image de différence Image droite

plan Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres. Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], Objectifs et approches Mise en correspondance stéréoscopique Segmentation des obstacles Cumul des rectifications Résultats Agrégation Une fois la carte de disparité calculée, il reste a déterminer lesquels des points reconstruits sont des obstacles potentiels. J’utilise les propriétés que je viens d’énoncer.

3.A. Segmentation des obstacles : cumul des rectifications Frontale Plan de la route Plus en détail

3.A. Segmentation des obstacles : cumul des rectifications différence 85 disparité 69

3.A. Segmentation des obstacles : cumul des rectifications Frontale Plan de la route

3.B. Segmentation des obstacles : résultats

3.B. Segmentation des obstacles : résultats Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double rectification contre ~89% sans. Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement. Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse. Pour évaluer sur des séquences réelles, il reste à gérer les imperfections de calibrage.

3.B. Segmentation des obstacles : résultats Etat de l’art Multi-rectification : Utilisation de 3 caméras (et rectifications) pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98]. Caractérisation des surfaces d’iso-disparité: Mandelbaum et al. [MMB+98], Pollefeys et al. [PS04] Contributions Estimer la disparité plus finement par fusion des deux cartes de disparité Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité

3.C. L’agrégation Ensuite, une fois les points de la route (en vert) retiré de la carte de disparité, il faut agréger tous les points correspondant à un même obstacle sous la forme d’une boite englobant la cible. Cette étape est nécessaire pour la suite des traitements, c’est-à-dire la mesure de vitesse relative. J’ai développé une approche pour réaliser cette segmentation. Comme elle ne parait pas améliorer celles de la littérature, je ne la détaillerai pas.

III. La mesure de vitesse 3-D
La problématique Présentation de l’algorithme de Lucas & Kanade Extension à la stéréoscopie Gestion des variations de taille apparente Résultats

III. La mesure de vitesse 3-D
1. La problématique Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise. Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données

III. Mesure de vitesse 3-D
1. La problématique Image d’un point 3-D Ce schéma illustre comment un déplacement est observé par système stéréoscopique.

1. La problématique Déplacement 3-D : Flux de scène [VBR+99] Déplacement 2-D : Flux optique Déplacement 2-D : Flux optique

1. La problématique Recherche d’un mouvement dans une série de reconstructions successives [BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05]. Recherche de flux optiques puis reconstruction 3-D [ISK92, DHS02, RFG07, UF02].

Plan La problématique Présentation de l’algorithme de Lucas & Kanade [BFSB92] Extension à la stéréoscopie Gestion des variations de taille apparente Résultats

1. Présentation de l’algorithme de Lucas & Kanade Algorithme de suivi 2-D [BFSB92]

1. Présentation de l’algorithme de Lucas & Kanade Algorithme de suivi 2-D Résolution itérative par méthode de Gauss-Newton

2. Extension à la stéréoscopie

2. Extension à la stéréoscopie Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92] n vaut l pour « left » et r pour « right »

2. Extension à la stéréoscopie

2. Extension à la stéréoscopie Le vecteur de paramètres P peut être représenté par Une paire de points 2-D : 4 paramètres pour 3 D.L. Cela revient à mesurer le flux optique et effectuer la reconstruction séparément Ca revien a resoudre en 2 etapes, retour a la case depart

2. Extension à la stéréoscopie Le vecteur de paramètres P peut être représenté par Un point 3-D dans l’espace Euclidien : 3 paramètres pour 3 D.L. Calculs complexes

2. Extension à la stéréoscopie Le vecteur de paramètres P peut être représenté par Un point 2-D associé à la disparité : p = [x, y, d]T 3 paramètres pour 3 D.L. Simplifie les calculs

3. Gestion des variations de taille apparente

3. Gestion des variations de taille apparente Agrandir plutot que raptisser

3. Gestion des variations de taille apparente Ajout d’un paramètre w pour l’échelle P = (x, y, d, w) La taille apparente est liée à la distance Z : La disparité d est liée à la distance Z : La variation de taille apparente est égale à la variation de disparité : Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire P = (x, y, d)

4. Résultats

4. Résultats Méthode temps réel. Plus rapide que Deux lucas kanade

4. Résultats

4. Résultats d x y

4. Résultats L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variations de taille Erreur d’estimation d x y Mesure parfaite Mesure erronée Centrer les axes

4. Résultats Quantifier les performances Bruit de mesure % d’échecs  Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite pour le bruit 2ème Gaussienne large pour les échecs

4. Résultats Sans contrainte (2 trackers 2-D) Sigma 5 pixels 50% d’échecs Avec des points 3-D (espace image) 40% d’échecs Avec des points 3-D et variation de taille Sigma 0.1 pixel 10% d’échecs Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.

Conclusions

Etude de toute la chaine algorithmique
Conclusions Bilan Etude de toute la chaine algorithmique Caméras Calibrage Détection d’obstacles Mesure de vitesse 3-D Conception d’un outil d’évaluation multiples rectifications + agrégation Extension de l’algorithme Lucas-Kanade Vitesses relatives aux obstacles

Reste à valider sur des données réelles :
Conclusions Perspectives Reste à valider sur des données réelles : Valider les simulations de calibrage. Gérer finement le calibrage pour appliquer les multiples rectifications sur des séquences réelles. Comparer la mesure 3-D par flux optique avec une mesure réelle métrée.

L’avenir de la stéréoscopie pour les applications automobiles
Conclusions Perspectives L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar). A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses concurrents. Les problèmes de sureté de fonctionnement (fausses détections, ou détections manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs. Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations. Pour preuve : BMW est prêt à équiper ses véhicules du « Collision-Warning « et du « LKA » de MobilEye (monovision) Lexus équipe sa « LS460 » d’une tête stéréoscopique (réellement utilisée) en complément du/des Radars.

Merci de votre attention
Questions Merci de votre attention

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Similar presentations

Presentation on theme: "Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG"— Presentation transcript:

Similar presentations

Notre projet

Feedback

Войти

S'autoriser via un réseau social:

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Similar presentations

Presentation on theme: "Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG"— Presentation transcript:

Similar presentations

Notre projet

Feedback