Détection d’objets (obstacles) avec une seule caméra PIF6004 Sujets Spéciaux en informatique II Détection d’objets (obstacles) avec une seule caméra Sujets Introduction Principes de la détection d‘objets mobiles Autres applications (backup camera)

Introduction Une méthode pour estimer le déplacement d’un véhicule (vehicle ego-motion)dans une scène routière doit d’abord être proposée Une autre méthode doit aussi être proposée pour détecter les objets mobiles sur la route Une approche Shape From Motion (SFM)permet de déduire le déplacement du véhicule (ego-motion)

Introduction Pour éviter les ambiguités causées par la présence d’objets mobiles dans une scène routière, les points d’intérêt (feature points) doivent être sélectionnés à partir des résultats de la détection des objets mobiles d’une image traités à une itération antérieure (previous frame) Pour une estimation précise du “ego-motion”, les points d’intérêt sont extraits de façon dispersée en divisant une image en régions distinctes Après l’estimation du “ego-motion”, les objets mobiles sont détectés en suivant les points d’intérêt et en détectant des points sur les objets mobiles

Principes de la détection d‘objets mobiles

Principes de la détection d‘objets mobiles Les points d’intérêt sont obtenus par le détecteur de coins de Harris

Principes de la détection d‘objets mobiles L’algorithme de mise en correspondance des points d’intérêt est basé sur l’approche proposée par Lucas et Kanade pour évaluer le flux optique Deux suppositions importantes: La fonction image I(x, y, t) est principalement dépendante de la position (x, y) La fonction image I(x, y, t) d’un objet ne change pas dans l’image Si après un temps t un objet subit une translation dx et dy, nous pouvons écrire la fonction I(x, y, t) en faisant le développement en séries de Taylor

Principes de la détection d‘objets mobiles L’algorithme de mise en correspondance des points d’intérêt est basé sur l’approche proposée par Lucas et Kanade pour évaluer le flux optique Sachant que: En développant le terme droit en série de Taylor, en annulant les termes communs et divisant par dt nous obtenons: Équation du mouvement I(x, y, t) et f(x, y, t) représente la fonction image

Principes de la détection d‘objets mobiles L’algorithme de mise en correspondance des points d’intérêt est basé sur l’approche proposée par Lucas et Kanade pour évaluer le flux optique Approche proposée par Lucas & Kanade Résolution d’un système d’équations linéaires par moindres carrés Les sol’n sont les vecteurs vitesse u et v Forme matricielle W représente une fenêtre de 3X3

Principes de la détection d‘objets mobiles L’algorithme de mise en correspondance des points d’intérêt est basé sur l’approche proposée par Lucas et Kanade pour évaluer le flux optique Le flux optique de chaque point d’intérêt est calculé par: Les  sont effectuées sur des régions de 3X3 centrées sur les points d’intérêt

Principes de la détection d‘objets mobiles Exemple de programme python (approche LK)

Principes de la détection d‘objets mobiles Exemple de programme python (approche LK)

Principes de la détection d‘objets mobiles Exemple de programme python (approche LK)

Principes de la détection d‘objets mobiles Estimation du Ego-Motion Étape 1: Sélection de points d’intérêt statiques

Principes de la détection d‘objets mobiles Estimation du Ego-Motion Étape 2: Calcul de la matrice de transformation E, correspondant au déplacement du véhicule de référence

Principes de la détection d‘objets mobiles Estimation du Ego-Motion Étape 2: Calcul de la matrice de transformation E, correspondant au déplacement du véhicule de référence La matrice E est déduite en résolvant le système: E peut être déduite par le 8-points algorithm Avec(p, p') les points correspondant entre les 2 images, p, p' sont des points correspondant aux points, p p' dans le référentielle de l’image normalisée et K est la matrice de calibration, K est la matrice intrinsèque de la caméra

Principes de la détection d‘objets mobiles Estimation du Ego-Motion Étape 2: Calcul de la matrice de transformation E, correspondant au déplacement du véhicule de référence La matrice E est déduite par le 8-points algorithm Avec: Nous devons résoudre le système Ax = 0 ou x est la sol’n (matrice E) Si nous utilisons l’approche SVD, nous devons alors trouver le vecteur propre de ATA correspondant à sa valeur propre min.

Principes de la détection d‘objets mobiles Estimation du Ego-Motion Étape 2: Calcul de la matrice de transformation E, correspondant au déplacement du véhicule de référence Approche SVD, pour déduire la matrice E E matrice de 3X3

Principes de la détection d‘objets mobiles Détection de la route: Après avoir estimé la matrice Ego-Motion, la structure 3D de la scène peut aussi être estimée. Cette structure 3D grossière des objets sert ensuite à détecter la route (plan 3D). L’image est divisée en petites régions, chaque région est évaluée pour déterminer si elle fait partie de la route ou non en effectuant une comparaison avec le plan 3D estimé de la route La distance des objets mobiles peut être estimée par rapport au plan 3D de la route Il est important de détecter la région de la route pour aussi détecter les objets statiques

Principes de la détection d‘objets mobiles Détection de la route: Les points d’intérêt candidat pour détecter le plan 3D de la route sont déduits en des points d’intérêt du plan 3D de la route au temps t-1 Le plan 3D de la route au temps t est déduit des positions 3D de ces points d’intérêt

Principes de la détection d‘objets mobiles Détection de la route: Le plan 3D de la route au temps t est déduit des positions 3D de ces points d’intérêt Équation générale d’un Plan Permet de déduire la hauteur de la caméra

Principes de la détection d‘objets mobiles Détection de la route: Le plan 3D de la route au temps t est déduit des positions 3D de ces points d’intérêt La région de la route est déduite de l’estimation du plan 3D de la route Supposons qu’un point (x, y) est la projection d’un point 3D provenant du plan 3D de la route, alors le flux optique de ce point est donné par:

Principes de la détection d‘objets mobiles Détection de la route: le flux optique des points d’intérêt sur la route est donné par: Les coefficients i (i = 1..8), sont déduits en utilisant la matrice ego-motion, le plan 3D de la route, et la matrice de calibration. Ces paramètres i peuvent être calculés en utilisant l’estimation du ego-motion et du plan 3D de la route

Principes de la détection d‘objets mobiles Détection de la route: l’image au temps t est divisée en petites régions, Wi, de 10 x 10 pixels, les correspondances de ces régions (Wi, Wi') entre les deux images sont déduites par les équations u(x,y) et v(x,y) Wi est considérée comme faisant partie de la route ou non en évaluant la corrélation entre Wi et Wi'. Si la corrélation est élevée, Wi est considérée comme faisant partie de la route. La corrélation est déduite par une méthode utilisant la SSD (Sum of Squared Difference) et la SIFT (Scale Invariant Feature Transform)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Les points d’intérêt étant éloignés de leur ligne épipolaire ou ayant une distance négative sont sélectionnés. Cet ensemble de points sont considérés comme pouvant faire partie d’objets mobiles Ces points sont suivis d’une image à l’autre et ceux classifiés continuellement comme points candidats sont ajoutés à l’ensemble des points candidats d’objets mobiles

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Pour trouver les lignes épipolaires il faut d’abord déduire les matrices fondamentales et essentielle (F et E), F = E sachant que les images sont corrigées et normalisées

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Exemple python (sélection de points d’intérêt)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Exemple python (calcul de F et E)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Exemple python (affichage des lignes épipolaires)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Exemple python (calcul des lignes épipolaires)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Notions de lignes épipolaires: Exemple python (résultats)

Principes de la détection d‘objets mobiles Détection des objets mobiles: Les points candidats d’objets mobiles sont ensuite groupés selon leur position, leur direction, la magnitude de leur flux optique Un objet mobile correspond alors à une région rectangulaire englobant les points du même groupe

Principes de la détection d‘objets mobiles Détection des objets mobiles: Détection des points candidats et raffinement de la détection

Autres applications Détection des objets mobiles et statiques: Caméra arrière d’un véhicule

Autres applications Détection des objets mobiles et statiques: Caméra arrière d’un véhicule: Phase de détection keyframe correspondant à un déplacement suffisant

Autres applications Détection des objets mobiles et statiques: Caméra arrière d’un véhicule: Résultats

Références Yamaguchi, K.,Kato, T., Ninomiya, Y., Moving Obstacle Detection using Monocular Vision, Intelligent Vehicles Symposium 2006, June 13-15, 2006, Tokyo, Japan. C. Harris and M. Stephens, "A combined corner and edge detector," Proc. Alvey Vision Conf., pp. 147-151, 1988. B. D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision," Int. Joint Conference on Artificial Intelligence, pp. 674-679, 1981. Lalonde, J., Laganière, R., and Martel, L., Single-view obstacle detection for smart back-up camera systems, 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, June 2012.