THESE DE DOCTORAT Véhicules Intelligents : Étude Et Développement D’un Capteur Intelligent De Vision Pour L’attelage Virtuel Tout d’abord, je vous remercie.

Présentation au sujet: "THESE DE DOCTORAT Véhicules Intelligents : Étude Et Développement D’un Capteur Intelligent De Vision Pour L’attelage Virtuel Tout d’abord, je vous remercie."— Transcription de la présentation:

1 THESE DE DOCTORAT Véhicules Intelligents : Étude Et Développement D’un Capteur Intelligent De Vision Pour L’attelage Virtuel Tout d’abord, je vous remercie Madame Messieurs les membres du jury pour votre présence et de l’intérêt que vous portez au travail effectué dans le cadre de ma thèse. Dans ce qui suit, je vais présenter mes travaux de thèse intitulée :  Véhicules Intelligents : Étude Et développement d’un capteur Intelligent de vision pour l’attelage virtuel. Cette thèse a été effectuée dans le cadre d’une collaboration entre le laboratoire d’Automatique et de Génie Informatique de Lille et le département Génie Informatique et productique de Douai dirigée par Madame Mireille Bayart et Monsieur Jacques Boonaert. Présentée Par : M. Mohamed ZAYED Dirigée Par : Mme Mireille BAYART M Jacques BOONAERT

2 Plan De La Présentation
La problématique de l’attelage virtuel Approches permettant de réaliser un tel système Le pourquoi de l’utilisation de la vision par ordinateur Le capteur de vision dédié à l’attelage virtuel en tant que capteur intelligent Le développement fonctionnel du capteur mis en place Conclusion et perspectives Je vais commencer par aborder, la problématique de l’attelage virtuel. Ensuite je parlerai des approches permettant de réaliser un tel système, je présenterai après la technique que nous avons adopté c’est à dire la vision par ordinateur en premier lieu ensuite nous verrons le capteur de vision d’un point de vue capteur intelligent et l’aspect fonctionnel également. Enfin, une conclusion sera tirée et l’évolution du système sera présentée sous forme de perspectives. 17/04/2017 Université des Sciences et Technologie de Lille

3 Problématique De L’attelage Virtuel
On définit un système d’attelage virtuel dans le domaine des véhicules intelligents comme étant un modèle d’une liaison virtuelle établie entre le véhicule « tracteur » et le véhicule « tracté ». Le concept de l’attelage tel qu’il était défini permettra de relier virtuellement deux véhicules ou plus, de telle manière que les véhicules tractés suivent automatiquement le véhicule tracteur (conduit par un opérateur humain ), d’où la notion de train de véhicules. Dans le cas d’un attelage normal le véhicule tracté est lié au véhicule tracteur à travers une liaison mécanique que nous voulons la remplacer dans notre cas avec une liaison informationnelle qui permet d’effectuer l’attelage. 17/04/2017 Université des Sciences et Technologie de Lille

4 Intérêt Du Concept De L’attelage Virtuel
Optimiser l’utilisation des infrastructures. Améliorer la mobilité. Diminuer les risques, la durée du voyage et la consommation d’énergie. Enfin, préserver l’environnement. L’attelage virtuel tel qu’il était défini permettra : D’optimiser l’utilisation des infrastructures, améliorer la mobilité, diminuer les risques et le temps de voyage et enfin, préserver l’environnement. 17/04/2017 Université des Sciences et Technologie de Lille

5 Approches De Réalisation D’un Tel Système
L’extraction des informations nécessaires pour le suivi envisagé en premier lieu, à savoir: - La position et la vitesse relatives. - La direction (cap), etc. Nécessite l’utilisation soit : Des capteurs émetteurs - récepteurs (radars,…). Des capteurs récepteurs (caméras,…). Le tableau ci-après permet de comparer ces deux types de source: Pour pouvoir aboutir sur un système d’attelage le véhicule tracté doit disposer de la position et la vitesse relatives ainsi que de la direction. Afin d’extraire ces informations nous pouvons soit utiliser des capteurs émetteurs récepteurs ou des capteurs récepteurs 17/04/2017 Université des Sciences et Technologie de Lille

6 Comparaison Entre Les Deux Approches (1)
Avantages Inconvénients Par capteurs Émetteurs - Récepteurs Mesures directes, exigent moins de ressources. Bonne robustesse face à certaines situations. Interférences entre capteurs du même type. Par capteur Récepteurs Peu intrusifs par nature. Manque de robustesse face à certaines situations.(on « subit » les données de l’environnement) Principalement les capteurs émetteurs récepteurs permettent des mesures directes et exigent moins de ressources mais présentent des interférences pour les capteurs du même type. Par ailleurs les capteur récepteurs sont peu intrusifs par nature et donc il n y a pas de risque d’interférences entre les capteurs du même type mais ces capteurs manquent de robustesse et sont assujettis aux données de l’environnement ! 17/04/2017 Université des Sciences et Technologie de Lille

7 Comparaison Entre Les Deux Approches (2)
Malgré leurs avantages, le problème principal des capteurs « Émetteurs-Récepteurs » est l’interférence entre capteurs du même type, qui peut être critique pour un grand nombre de véhicules se déplaçant simultanément. N’étant pas sujets à ce phénomène, les capteurs « Récepteurs », tels que des caméras, présentent un avantage indéniable par rapport aux capteurs Émetteurs-Récepteurs. Le point faible des capteurs émetteurs-récepteurs est donc l’interférence qui peut être critique dans une application comme la notre. Au contraire les capteurs récepteurs ne provoquent pas d’interférences et en conséquences ceux-ci sont plus adaptés à notre cas de figure sans parler du coût qui est aussi à leur faveur. 17/04/2017 Université des Sciences et Technologie de Lille

8 La Vision Par Ordinateur Dans Tout Ça ?
Bien que s’agissant d’une information très dense et complexe à traiter, les conducteurs perçoivent visuellement 90 % de l’information nécessaire pour la conduite. Par analogie, la vision par ordinateur apparaît donc comme un puissant moyen de perception. L’attelage s’effectue sur un véhicule « générique » (celui-ci ne nécessite pas d’être « instrumenté » d’une façon particulière). La vision par ordinateur est la technique la plus adapté aux problématiques des transports intelligents puisque il a été évalué que les conducteur perçoivent visuellement 90% de l’information nécessaires pour la conduite d’une part, et d’autre par la vision par ordinateur permet d’effectuer l’attelage virtuel sur un véhicule générique puisque elle n’exige pas l’instrumentation du véhicule tracteur. 17/04/2017 Université des Sciences et Technologie de Lille

9 Traitement Des Informations Visuelles
Les approches Avantages Inconvénients Vision monoculaire (Analyse d’une seule image) Algorithmes simples Traitement rapide Peu influencée par le mouvement du véhicule Perte info « profondeur » N’aboutit pas à un résultat en cas d’une erreur de modélisation Flux Optique Méthode de détection des objets génériques Permet le calcul du déplacement, vitesse relatives Traitements complexes Sensible aux mouvements et aux erreurs de calibration Vitesse nulle : pas de résultats Stéréovision Permet la reconstruction 3D La vision par ordinateur peut être mises en œuvres de différentes manières : On trouve la vision monoculaire, c’est à dire l’utilisation d’une seule image, le flux optique ou enfin la stéréovision qui utilise deux caméras ou plus. La première technique est simple, rapide mais exige un modèle et ne fournit pas l’information de la profondeur. Quant au flux optique celui-ci présente une méthode générique permettant le calcule du déplacement et de la vitesse relatives mais complexes, sensibles au mouvement et à la calibration, et si le véhicule est inerte on aura pas de résultats. Enfin, la stéréovision présente une méthode générique, permet la reconstruction 3D mais complexe et sensible aux mouvements et à la calibration. En ce qui nous concerne, nous avons adopté la stéréovision comme outil de perception, vu la quantité d’information qu’on pourra extraire d’un capteur stéréoscopique. 17/04/2017 Université des Sciences et Technologie de Lille

10 Analyse Et Choix De La Solution À Adopter
Donc, si nous examinons bien le pourquoi et le comment de la chose nous aurons la figure suivante. Notre objectif consiste à réaliser un capteur permettant de fournir l ’information nécessaire pour effectuer la tâche de l’attelage virtuel, pour se faire nous avons effectué un choix technologique qui se consiste dans l’utilisation d’une technique basée sur un capteur récepteur qui est la vision par ordinateur basée à son tour sur deux caméras. Après cette étape, on a identifié les traitements qu’il faut mettre en place pour extraire l’information nécessaire à l’attelage. Principalement, nous devons acquérir des images, calibrer le système, détecté l’entité d’accrochage, certifier cette entité si c’est possible, suivre l’entité. Dans ce qui suit, je vais essayer de donner une idée très brève sur le vision stéréoscopique. 17/04/2017 Université des Sciences et Technologie de Lille

11 La Vision Stéréoscopique
L’observation d’un objet depuis deux points de vue différents permet de reconstruire l’information 3D Caméra gauche Caméra droite La scène observée Objet En effet, la vision stéréoscopique ou encore la vision binoculaire consiste à observer un objet de deux points de vue différent ce qui permettra d’effectuer la reconstruction 3D par triangulation. 17/04/2017 Université des Sciences et Technologie de Lille

12 Modèle Mathématique Associé À Une Caméra
Le modèle le plus simple d’une caméra (proposé par hall) consiste en une relation linéaire qui met en correspondance les points 3D de la scène avec leurs projections sur le plan 2D de la caméra, suivant: Le modèle mathématique d’une caméra est une relation linéaire entre le les coordonnées 3D d’un point de l’espace dans un repère lié à la scène et la projection de ce même point sur la rétine de la caméra. 17/04/2017 Université des Sciences et Technologie de Lille

13 Détail Des Transformations Géométriques Associées
Y X Z p P Le centre optique Plan image Axe optique x y C O Zm Xm Ym Repère du monde Om Repère de la caméra La transformation est fait sur deux étapes, la première c’est une transformation euclidienne entre le repère du monde te le repère de la caméra et la seconde est une transformation 3D – 2D avec mise à l’échelle et qui est caractérisée par les paramètres intrinsèques de la caméra, c’est à dire la distance focale et la taille des pixels. Pour pouvoir extraire les paramètres intrinsèques et extrinsèques d’un système de vision, on procède à ce qu’on appelle la calibration des caméra. 17/04/2017 Université des Sciences et Technologie de Lille

14 Calibration Des Caméras
Pour définir la relation entre la caméra et la scène observée, nous devons calibrer la caméra. Caractéristique Technique Robustesse Flexibilité Calibration classique Robuste Manque de flexibilité Auto-calibration Manque de robustesse Très flexible Calibration Hybride Plus robuste que l’Auto- calibration Plus flexible que la calibration classique On trouve principalement trois grandes catégories de calibration, calibration classique, auto-calibration, et la calibration hybride. La calibration classique exige l’utilisation d’une mire 3D, l’autocalibration n’utilise pas de mire, la calibration hybride utilise une mire 2D. Dans notre cas, la technique de calibration utilisée doit être robuste et au même temps suffisamment flexible pour répondre aux contraintes propres au domaine des transports intelligents. Pour cette raison, la calibration hybride apparaît être la plus adaptée à notre cas de figure au moins dans le moment actuel. 17/04/2017 Université des Sciences et Technologie de Lille

15 La Calibration Hybride
Pour calibrer une caméra, celle-ci doit observer une mire de calibration plane dont on connaît avec précision les coordonnées 2D de certains points la composant par rapport à un repère lié à cette mire. Dans le cas d’une calibration hybride, la caméra doit observer une mire 2D tel qu’un damier et par conséquent cette technique est flexible d’utilisation sans une perte conséquente de robustesse. Après avoir choisi la technologie sur laquelle nous allons développer notre capteur et effectuer une présentation sommaire de la technique qui lui y est associée, en l’occurrence la vision. Nous allons maintenant spécifier les services que doit fournir notre capteur de vision dédié à la tâche de l’attelage virtuel. 17/04/2017 Université des Sciences et Technologie de Lille

16 Le Capteur De Vision Dédié À L’attelage Virtuel
Les services que doit fournir le capteur: La calibration des caméras. Estimation de la distance relative. Estimation de la direction relative. Estimation de la vitesse relative. Détection de l’entité d’accrochage. Suivi de l’entité d’accrochage. Le Capteur de vision dédié à l’attelage virtuel doit fournir des services relativement à sa tâche principale (l’attelage virtuel). En effet, nous considérons dans cette présentation que les services que doit fournir le capteur et non pas le système de l’attelage virtuel dans sa totalité. Nous allons maintenant décrire chaque service sous forme de boîte SADT (Structured Analysis Design Technique). 17/04/2017 Université des Sciences et Technologie de Lille

17 Le Service « Calibration »
Entrées IMAGES, stop_Calib_images Sorties Calib_ok, Calib_Params Paramètres Mire_Params Ressources Caméras, mire, processeur Condition d’activation Attelage_on, Start_Calib Méthode « Calibration hybride » 17/04/2017 Université des Sciences et Technologie de Lille

18 Le Service « Distance Relative »
Entrées 2d_entité_Coord_camera1(2) Sorties Distance_relative Paramètres Calib_Params Ressources Processeur Condition d’activation Attelage_on, Calib_ok, entité_détectée_ok Méthode « Reconstruction 3D » 17/04/2017 Université des Sciences et Technologie de Lille

19 Le Service « Direction Relative »
Entrées 2d_entité_Coord_camera1(2) Sorties Direction_relative Paramètres Calib_Params Ressources Processeur Condition d’activation Attelage_on, Calib_ok, entité_détectée_ok Méthode « Reconstruction 3D » 17/04/2017 Université des Sciences et Technologie de Lille

20 Le Service « Vitesse Relative »
Entrées Distance_relative(k), t(k) Sorties Vitesse_relative Paramètres Mire_Params Ressources Processeur Condition d’activation Attelage_on, Calib_ok, entité_détectée_ok Méthode « Calcul – mise à jour » 17/04/2017 Université des Sciences et Technologie de Lille

21 Service « Détection Entité D’accrochage »
Entrées Image, 2d_entité_caméra_Coord_Sui Sorties 2d_entité_caméra_Coord, entité_détecté_ok Paramètres Entité_Params Ressources Caméra, processeur Condition d’activation Attelage_on Méthode « Traitements d’images, calcul – mise à jour » 17/04/2017 Université des Sciences et Technologie de Lille

22 Service « Suivi Entité D’accrochage »
Entrées 2d_entité_caméra_Coord_Act Sorties 2d_entité_caméra_Coord_Sui, Suivi_en_cours_ok Paramètres Déplacement_Params Ressources Processeur Condition d’activation Attelage_on, entité_détectée_ok Méthode « Calcul – mise à jour » 17/04/2017 Université des Sciences et Technologie de Lille

23 Architecture Opérationnelle Du Système Global
En connectant les services décrits les uns aux autres, nous aboutissons à l’architecture est la suivante. Où les entrées du système final sont principalement les images et les commandes de l’opérateurs et les sorties sont vitesse, distance, direction relatives. Ces informations doivent être fournies au service commande Automatique du véhicule qui se charge de la commande. Dans ce qui suit nous allons décrire la mise en place de chaque service à part tout en décrivant les algorithmes utilisés et les résultats obtenus. 17/04/2017 Université des Sciences et Technologie de Lille

24 Architecture Fonctionnelle Du Capteur De Vision
Le fonctionnement du capteur peut être scindé en trois opérations distinctes: Acquisition des images gauches et droites. Calibration du capteur. Traitements spécifiques à sa tâche principale. Fonctionnellement parlant notre système se présente de la manière suivante : En premier lieu, on trouve l’acquisition, ensuite la calibration et enfin les traitements spécifiques. Nous avons relier les différents traitements avec des portes logiques pour pouvoir décrire le fonctionnement du système. Par exemple, la calibration du capteur stéréoscopique exige nécessairement la calibration de chacune des deux caméras à part ! 17/04/2017 Université des Sciences et Technologie de Lille

25 Acquisition Des Images
En ce qui concerne l’acquisition des images : On trouve le dispositif optique, le capteur CCD ou CMOS, le transfert de données et les entrées sorties vers l’unité de traitement. Toutes ces étapes doivent être prise en compte afin d’aboutir sur un système de vision répondant aux exigences de l’application en question. 17/04/2017 Université des Sciences et Technologie de Lille

26 Calibration Du Capteur Stéréoscopique (1)
Afin de calibrer un système de stéréovision, nous devons : Calibrer chacune des deux caméras à part, c’est à dire: Extraire les paramètres intrinsèques. Extraire les paramètres extrinsèques. Extraire la transformation euclidienne existante entre les deux caméras, définit par une matrice de rotation et un vecteur de translation. Je vais présenter maintenant la phase de la calibration du capteur stéréoscopique : Nous devons tout d’abord calibrer chacune des deux caméras à part, c’est à dire extraire les paramètres intrinsèques et extrinsèques, ensuite nous procédons à l’extraction de la transformation euclidienne reliant les deux caméras comme le monde la figure suivante. 17/04/2017 Université des Sciences et Technologie de Lille

27 Calibration Du Capteur Stéréoscopique (2)
X Z Y Y’ X’ Z’ m Repère du monde R’ d , T’ R g , T C’ s , T Repère de la caméra gauche caméra droite 17/04/2017 Université des Sciences et Technologie de Lille

28 Université des Sciences et Technologie de Lille
Mise En Oeuvre Pour effectuer la calibration hybride, nous identifions essentiellement deux types de traitements : Premièrement, nous devons extraire les points caractéristiques de la mire qui correspondent aux coins. Dans la seconde étape, on calcul les matrices d’homographies et extraire les paramètres intrinsèques et extrinsèques de la caméra. 17/04/2017 Université des Sciences et Technologie de Lille

29 Binarisation Des Images
Afin d’extraire les coordonnées 2D des points caractéristiques : Nous devons tout d’abord procéder au seuillage de l’image (au niveau de gris) dans le but de binariser l’image. Pour trouver le bon seuil de la binarisation nous effectuons une analyse de l’histogramme de l’image en question, le fait que la mire est constituée de carreaux blancs et noirs cela facilite cette tâche puisque le seuil idéal sera en principe le minimum inclus entre deux maximums et si c’est possible pas loin de 128. 17/04/2017 Université des Sciences et Technologie de Lille

30 Détection Des Rectangles Et Détection Des Coins
Après la bénirasation des images, on effectue une érosion de telle manière de séparer les rectangles constituant le damier de calibration. L’étape suivante consiste à détecter les rectangles par détection des contours. Les coins seront représentés par les points appartenant aux contours de deux rectangles et dont la distance entre eux est minimum, en réalité c’est deux points représente l’explosion du coins en deux points séparés après l’opération de l’ érosion mathématique effectuée précédemment. Par conséquent, les coordonnées du coin cherché sont la moyenne des deux points appartenant aux deux rectangles séparés comme le montre la figure. L’étape suivante consiste à organiser les coins détectés par rapport à une référence (par exemple le coin haut gauche). 17/04/2017 Université des Sciences et Technologie de Lille

31 Organisation Des Coins
Le nombre de coins détecté par ligne est indicateur des axes X ou Y. Le produit vectoriel des axes X et Y indique la direction de l’axe Z qui est à son tour indicateur de l’origine du repère de la mire (on choisit un Z sortant). L’organisation des coins est également une étape nécessaire est importante puisqu’elle permet d’identifier chaque point de contrôle par rapport à une référence commune. En effet, le nombre des coins par une ligne est indicateur des axes X ou Y et le produit vectoriel permet d’avoir l’origine du repère (règle de la main droite ) 17/04/2017 Université des Sciences et Technologie de Lille

32 Évaluation Des Performances
Influence du « nombre de points de contrôle » de la mire. Influence du « nombre d’images » utilisé pour la calibration. Influence du « bruit » sur les points de la mire sur l’extraction des paramètres. Conclusion. Nous allons maintenant examiner : En premier lieu l’influence du nombre des points de contrôle de la mire sur les résultats de la calibration. Ensuite, l’infrluence du ombre d’images pour effectuer la calibration, L’influence du bruit d’extraction et enfin, nous établirons une conclusion en ce qui concerne la calibration 17/04/2017 Université des Sciences et Technologie de Lille

33 Nombre Des Points De Contrôle
A chaque fois nous allons prendre en considération que les graphiques de alpha u et alpha v puisque les autres graphiques présentent le sensiblement le même comportement cela est vrai pour les autres évaluations également. Ce graphique présente l’évolution de l’erreur relative sur l’estimation de alpha u et alpha v en fonction du nombre des points de contrôle de la mire. On constate d’après ce graphique qu’à partir de 80 points on observe peu ou plus d’influence significative sur le l’estimation des paramètres cela est vrai pour les paramètres intrinsèques et extrinsèques également ! 17/04/2017 Université des Sciences et Technologie de Lille

34 Université des Sciences et Technologie de Lille
Le Nombre D’images Nous constatons d’après ce graphique qu’à partir de la treizième image l’estimation des paramètres est peu influencée par le nombre d’images. 17/04/2017 Université des Sciences et Technologie de Lille

35 Influence Du Bruit D’extraction
D’après le graphique, on remarque que l’erreur relative est pratiquement linéairement indépendante aux erreurs d’extractions des points de contrôle. 17/04/2017 Université des Sciences et Technologie de Lille

36 Conclusion - Calibration
Le nombre optimal du nombre des points de contrôle est de 80 points. Le nombre optimal du nombre des images utilisées pour la calibration est de 13 images. Comme toute technique de calibration, les bruits d’extraction influencent les résultats de la calibration hybride mais ceux-ci reste acceptable. 17/04/2017 Université des Sciences et Technologie de Lille

37 Détection De La Plaque D’immatriculation
Information « clef ». La couleur de la plaque « jaune ». Contraintes: Contraintes temporelles critiques doivent être satisfaites. Les changements d’éclairage ne peuvent pas être contrôlés, ce qui implique « sous espaces de la couleur de la plaque ». Après l’étape de la calibration des caméras l’étape suivante consiste à détecter l’entité d’accrochage, en l’occurrence « la plaque d’immatriculation ». L’information clef que nous possédons est la couleur jaune de la plaque. Par ailleurs, la technique de détection mise en place doit respecter certaine contrainte, principalement les contraintes temporelles et les contraintes d’environnement représentées par les variations d’éclairage non contrôlable. Au départ nous effctuons une segmentation des couleurs après, nous détectons la plaque (un rectangle) et après cela nous essayons de prédire la position de plaque dans la prochaine image en se basant sur un filtre de kalman. 17/04/2017 Université des Sciences et Technologie de Lille

38 Segmentation Des Couleurs
Approche (1): Utiliser l’espace de représentation des couleurs RVB. Effectuer la décision statistique « hors ligne » et l’utiliser « en ligne ». Approche (2): Introduction d’une nouvelle dimension J, telle que: Fonction de (R,V,B). Maximum pour le jaune pur (R = 255, G = 255, B = 0). En ce qui concerne la segmentation des couleurs, nous avons mis en place deux technique différentes l’une consiste à effectuer la décision statistique sur l’espace de couleur RGB, lautre technique consiste à introduire une nouevlle dimension appelée J qui et en réalité une fonction de RVB et qui présente un maximum pour la couleur du vrai Jaune (R=255, G=255, B =0) La fonction présentée ici, exhibe en plus des deux propriétés cités, deux propriétés intéressantes également puisque le blanc s’annule à peu de choses près et le noir est nul ce qui permet d’ores et déjà de distinguer c’est deux couleurs. Dans les deux cas, le calcul est effectué « hors ligne » et l’information est stockée d’une manière qui permet un accès rapide et efficace. Après la segmentation statistique, on procède à l’opération morphologique mathématique « close » qui permet d’homogénéiser les zones détectées. 17/04/2017 Université des Sciences et Technologie de Lille

39 La Vérification Géométrique
Une fois qu’on dispose des différentes régions candidates, on procède à la vérification : La position (le centre de gravité de la région). La taille (calculée de la matrice de covariance). L’inclinaison (déduite des vecteurs propres de la matrice de covariance). En plus, les conditions d’exploitation de l’algorithme de détection, font que l’image de la plaque ne présentera pas : Une « forte inclinaison ». Ni un « fort écrasement ». Maintenant qu’on a effectuer la segmentation, nous disposons des différentes régions candidates à ce qu’elle représente une plaque d’immatriculation, pour pouvoir y arriver à distinguer la plaque des autres régions qui représentent les même propriété colorimétrique on procède à des mesures géométrique telles que la position, la taille et l’inclinaison des régions candidates Après l’étape de la segmentation, on procède à la vérification géométrique, pour pouvoir distinguer la plaque de tous les objets qui représentent les mêmes propriétés colorimétriques. 17/04/2017 Université des Sciences et Technologie de Lille

40 Résultats Expérimentaux
Les exemples choisis ici montrent trois cas de figures différents : Principalement les deux approches de segmentation des couleurs fonctionnent correctement, mais nous remarquons que la méthode par décision statistique dépend principalement de l ’ensemble d’apprentissage qui peut lui présenter quelques problèmes dans le cas où la couleur plaque présentée est plus au moins différente de celle connue auparavant. De ce point de vue, la technique de la nouvelle dimension J présente un avantage même si un seuil doit être fixer à chaque fois. Enfin, si la plaque ne présente pas les caractéristiques géométriques précédemment évoquées nous constatons un échec des deux approches mais de toutes façons l’algorithme lui même encourage ce type de comportement. Passons maintenant à la problématique de la certification de la plaque d’immatriculation, c’est à dire comment peut on être sûr qu’on suis toujours la même plaque ? 17/04/2017 Université des Sciences et Technologie de Lille

41 Lecture De La Plaque D’immatriculation « Certification »
La lecture ou la certification de la plaque minéralogique se décompose en deux étapes : La « Segmentation » des caractères La « Reconnaissance » des caractères Cette partie traite de la problématique de l’unicité du véhicule tracteur suivi puisque la lecture de la plaque d’immatriculation permet de certifier cette unicité. En effet, par le présent module nous essayons de répondre à la question suivante : « Suivons nous le même véhicule ? » Cette étape est décomposée en deux sous parties : La première concerne la segmentation des caractères et la seconde concerne la reconnaissance des caractères. 17/04/2017 Université des Sciences et Technologie de Lille

42 Segmentation Des Caractères
Cette figure essaie de mettre en évidence les différentes étapes nécessaires à la segmentation des caractères La première étape consiste à convertir l’image originale en une image en niveaux de gris, la seconde étape binarise l’image de la plaque pour séparer les caractères du fond de la plaque, enfin une projection horizontale et verticale des pixels noirs va nous aider à délimiter les zones où se trouvent les caractères. Il est important de dire à ce niveau qu’avant d’effectuer la projection, on procède à éliminer les bordures qui peuvent compromettre l’opération de la projection. Passant maintenant à la reconnaissance des caractères ! 17/04/2017 Université des Sciences et Technologie de Lille

43 Reconnaissance Des Caractères
Classification des chiffres par un réseau de neurones artificiels constitué de trois couches. Le réseau mis en œuvre est constitué de : Une couche d’entrée. Une couche cachée. Une couche de sortie. Afin de pouvoir reconnaître les caractère nous avons mis en place une technique basée sur les réseaux de neurones artificiels. Le réseau de neurone utilisé est constitué de trois couche. La couche d’entrée récupère la valeur des pixels constituant l’imagette du caractère, des tests ont été effectué pour pouvoir choisir le nombre de neurones à utiliser. La couche de sortie - vu notre application – celle-ci est constituée de 10 neurones, et l’état de chacun est associé à un chiffre, par exemple l’activation du neurone O2 signifie que le caractère en question est un « 1 » si tous les neurones sont désactivés (leurs états sont à 0) cela signifie que le caractère ne correspond pas à un chiffre ! 17/04/2017 Université des Sciences et Technologie de Lille

44 La Taille De La Couche D’entrée
Pour pouvoir choisir convenablement le nombre des neurones artificiels dans la couche d’entrée nous avons procédé au tracé de l’évolution de l’erreur sur l’ensemble d’apprentissage. La décroissance de l’erreur est plus rapide lorsque la taille de la couche d’entrée est plus importante « taille de l’imagette ». Afin de pouvoir choisir le nombre des neurones de la couche d’entrée nous avons tracé l’évolution de l’erreur sur l’ensemble d’apprentissage Et ce lpour différentes tailles d’imagettes qui est lié directement au nombre de neurones dans la couche d’entrée. Les résultats reflètent le fait que l’information contenue dans une image est directement liée à sa taille (sa résolution) en conséquence, une image plus grande contient plus d’information qui puisse être utilisée pour différencier entre deux caractères ce qui implique naturellement une convergence plus rapide en terme du nombre d’itérations. Par ailleurs dans notre application le temps de calcul est aussi important, celui-ci n’est pas nécessairement lié aux nombres d’itérations mais dépend également de la taille de l’imagette du caractère. 17/04/2017 Université des Sciences et Technologie de Lille

45 Temps De Traitement Et « Couche D’entrée »
D’après les résultats obtenus en ce qui concerne le temps nécessaire pour la reconnaissance nous avons opté pour l’utilisation d’une couche d’entrée constituée de 96 neurones artificiels, c’est à dire une imagette d’une taille de 8x12 pixels. Nous avons opté pour l’utilisation d’une couche d’entrée constituée de 96 neurones, correspondant à des caractères organisés sous la forme de matrices 8 x 12 17/04/2017 Université des Sciences et Technologie de Lille

46 Évaluation Des Performances
Nous avons pu constater que cette procédure de lecture de plaque minéralogique est efficace dans la majorité des cas et présente une certaine robustesse en ce qui concerne les inclinaisons de la plaque (voir, image 7 du haut vers le bas). Cependant, certains problèmes peuvent se poser lors de la différentiation de caractères morphologiquement proches tels que le « 0 » et le « D » ou le « 8 » et le « B », problèmes que peuvent justement accentuer certaines orientations. (voir la 4ème image de la Figure III.39). Pour pallier ce défaut, certaines heuristiques peuvent être employées. Ainsi, pour une plaque française, le troisième caractère de la droite vers la gauche ne peut pas présenter un chiffre. Il faut noter que cette étape suppose que les caractères sont bien visible sur l’image est sont d’une taille suffisamment importante pour pouvoir les reconnaître (un zoom optique sera souhaitable à terme). 17/04/2017 Université des Sciences et Technologie de Lille

47 Algorithme De Tracking « Suivi »
Problème: L’approche adoptée pour la partie détection de la plaque permet la détection, en traitant l’ensemble de l’image ce qui est coûteux en terme de temps de calcul. Solution adoptée : Prévoir (Par un filtre de Kalman) la position du centre de la plaque sur la prochaine image de la séquence, et ainsi définir une région d’intérêt restreinte. Après les étapes de détection et de lecture de la plaque nous passons maintenant à l’étape du suivi, afin d’optimiser les performances temporelles du système globale puisque cette technique permet de restreindre la taille de l’image à traiter ! 17/04/2017 Université des Sciences et Technologie de Lille

48 Université des Sciences et Technologie de Lille
L’approche Adoptée Le mouvement d’un pixel est considéré comme étant uniformément accéléré dans un intervalle de temps réduit. Pour un pixel donné, les déplacements en abscisses est en ordonnées sont indépendants. Le bruit sur la position des pixels est supposé gaussien. Équations d’état et d’observation : L’évolution de l’abscisse ou de l’ordonnée d’un pixel appartenant à la plaque L’observation est issue de la partie détection de la plaque Sous les hypothèses suivantes, Le mouvement d’un pixel est considéré comme uniformément accéléré dans un intervalle de temps réduit. Les déplacement en abscisses et en ordonnées d’un pixel sont indépendants. Le bruit sur la position des pixels est supposé gaussien. Ainsi, on peut écrire les équations d’état et d’observabilité comme suit : L’évolution de l’abscisse ou de l’ordonnée d’un pixel appartenant à la plaque. L’observation est issue de la partie détection de la plaque. 17/04/2017 Université des Sciences et Technologie de Lille

49 Université des Sciences et Technologie de Lille
Démarche Globale Sous les hypothèses énoncées et en utilisant les équations précédentes, nous avons implémenté un filtre de kalman selon la figure ci-jointe, tels que : Sous les hypothèses énoncées et en utilisant les équations précédentes, nous avons implémenter un filtre kalman basé sur le principe de la prédiction et de la correction sous l’hypothèse d’un bruit gaussien. P (k+1/k) est la matrice de covariance de l’erreur de prédiction à priori X*(k/k) l’estimation optimale au sens de kalman du vecteur de l’état P(k/k) la matrice de covariance de l’erreur de prédiction à posteriori K(k) est le gain du filtre Kalman Q,R : sont les matrices de covariances des modèles de prédiction et d’observabilité. 17/04/2017 Université des Sciences et Technologie de Lille

50 Résultats Du Suivi Par Filtre De Kalman
La procédure décrite précédemment nous procure une technique rapide et robuste pour la détection de la plaque d’immatriculation sur les images. Nous sommes donc capables d’extraire en temps réel dans une séquence d’image des éléments caractéristiques « fiables » associés au véhicule suivi. La mise en place du suivi par un filtre de kalman nous procure une technique rapide et robuste pour la détection de la plaque d’immatriculation. La figure que vous voyez ici montre l’évolution des coordonnées réelles, prédites et mesurées d’un point suivi dans une séquence d’image. Nous constatons que la prédiction suis bien le mouvement du point en question. 17/04/2017 Université des Sciences et Technologie de Lille

51 Extraction Des Informations
Pour que le véhicule suiveur puisse suivre effectivement le véhicule tracteur, celui-ci doit disposer en temps réel des informations suivantes : L’interdistance  entre le véhicule Tracteur et le véhicule suiveur. La vitesse relative entre le véhicule Tracteur et le véhicule suiveur. La différence de cap  entre le véhicule Tracteur et le véhicule Suiveur. Nous passons maintenant à l’étape consacrée à l’extraction des informations nécessaires à l’attelage virtuel, qui sont : L’interdistance, la vitesse relative et la différence de cap. La première figure montre la projection des deux véhicules sur le plan OXZ, où on voit apparaître la distance relative et la vitesse relative également. La projection sur le plan OYX fait apparaître la différence du cap. Nous identifions deux modes de fonctionnement du capteur de vision mis en place ! 17/04/2017 Université des Sciences et Technologie de Lille

52 Mode Normal « Deux Caméras »
Dans le mode de fonctionnement normal du capteur (c.-à.d: plaque dans le champs de vision des deux caméras), il faut : Calibrer les deux caméras. Détecter la plaque dans l’image gauche et droite. Mettre en correspondance les points caractéristiques de la plaque. Effectuer la reconstruction 3D. Tête stéréo à base de Webcams modifiées Tête stéréo à base de Caméscopes Dans le mode normal, c’est à dire dans le cas où la plaque d’immatriculation au champs de vision commun des deux caméra du stéréoscope, nous procédons à : La calibration des deux caméras, La détection de la plaque dans l’image gauche te droite, Mettre en correspondances les points caractéristiques de la plaque, Effectuer la reconstruction 3D. Nous avons effectué des essais sur deux capteurs stéréoscopiques, l’un est basé sur des webcams (capteur CMOS) modifiées et l’autre est basé sur des caméscopes (capteur CCD), les deux capteurs présentent une solution bas coût, ce qui est très important dans le cadre des applications grand publique tel que le domaine de l’automobile. Dans ce qui suit nous allons présenter les tests effectués avec les deux capteurs et les résultats obtenus. 17/04/2017 Université des Sciences et Technologie de Lille

53 Stéréo À Base De Webcams Modifiées
La première expérience que nous présentons ici a consisté à estimer le déplacement d’un cube sur le sol. Nous avons effectué une série de séquences comprenant chacune plus de 300 déplacements. A chaque fois, nous avons mesuré la distance réelle de façon précise (erreur inférieure au demi millimètre). La première expérience qui concerne le capteur stéréoscopique à base de webcams modifiées consistait à estimer les déplacement d’un cube sur le sol, nous avons effectué 300 déplacements et à chaque nous avons mesuré la distance réelle de façon précise. 17/04/2017 Université des Sciences et Technologie de Lille

54 Université des Sciences et Technologie de Lille
Quelques Résultats (1) Résultats : Les déplacements estimés sont très proches des vrais déplacements. La caractéristique du capteur de stéréovision est linéaire avec une très bonne approximation. L’erreur d’estimation semble ne pas être corrélée à la distance elle–même. Il est possible de mesurer des déplacements dans des régions restreintes ( entre 0 et 2 mètres) avec une bonne précision. Les graphiques des distances réelles en fonction des distances mesurées de cette première expérience montrent que : Les estimations sont très proches des vrais déplacements. L’erreur de l’estimation semble ne pas être corrélée à la distance elle-même. Il est possible de mesurer des déplacements dans des régions restreintes ( entre 0 et 2 mètres ) avec une bonne précision. 17/04/2017 Université des Sciences et Technologie de Lille

55 Université des Sciences et Technologie de Lille
Quelques Résultats (2) La seconde expérience consistait à estimer les dimensions d’objets extérieurs, associés par exemple à des constructions ou des bâtiments. La seconde expérience consistait à estimer les dimensions d’objets extérieurs, associés à des constructions ou des bâtiments. Les résultats pour cette expérience sont aussi satisfaisantes, par ailleurs l’adaptation de la configuration du système de stéréovision peut améliorer considérablement les mesures également. Nous évoquons en ce qui suit les capteur de stéréovision basé sur les caméscopes. Les résultats obtenus à l’issue de cette expérience sont satisfaisants (l’erreur est de l’ordre du millimètre pour des mesures en mètres). Par ailleurs, l’adaptation de la configuration du système de stéréovision peut améliorer considérablement les mesures. 17/04/2017 Université des Sciences et Technologie de Lille

56 Stéréo À Base De Caméscopes
Le capteur stéréo a été embarqué sur le véhicule de tests. L’expérience effectuée consistait à suivre un véhicule (jouant le rôle de véhicule « tracteur ») pendant une vingtaine de minutes en effectuant les acquisitions des paires stéréoscopiques correspondantes. Le capteur stéréo a été embarqué sur le véhicule de tests. L’expérience effectuée consistait à suivre un véhicule jouant le rôle de véhicule « tracteur ». 17/04/2017 Université des Sciences et Technologie de Lille

57 Université des Sciences et Technologie de Lille
Quelques Résultats (1) Estimation des coordonnées 3D des cinq points caractéristiques de la plaque indépendamment. Calculer les coordonnées 3D du centre de la plaque à partir des estimations des coins. Comparer le résultat de la seconde étape avec le résultat obtenu dans la première étape « erreur de reconstruction 3D ». Les erreurs d’estimation commises sur les abscisses et les ordonnées en adoptant la procédure ci-dessus sont moins importantes que celles touchant la profondeur, mais d’une manière générale, les erreurs d’estimation sont tout à fait acceptables, puisque celles-ci ne dépassent pas les 4% des valeurs réelles dans les pires des cas. 17/04/2017 Université des Sciences et Technologie de Lille

58 Université des Sciences et Technologie de Lille
Quelques Résultats (2) Estimer les dimensions de l’entité suivie (la plaque, de taille connue). Calculer des coefficients liés directement aux dimensions estimées et réelles de la plaque, afin de vérifier les mesures. Dans le cas d’une reconstruction idéale chacun des coefficients doit être nul ! Afin, d’évaluer encore plus les performances des résultats de la reconstruction 3D obtenus, nous avons procédé à l’estimation des dimensions de l’entité suivie, ensuite nous calculer des coefficients qui sont liés directement aux dimensions estimées et réelles de la plaque, afin de vérifier les mesures (Dans le cas idéale les coefficient doivent être nul). Le graphique présentant l’évolution des coefficients par rapport à la distance de la plaque montre bien que les valeurs des coefficients s’éloignent de zéro quand la distance devient importante cela est explicable par le fait que l’erreur sur l’extraction de la plaque prend de l’envergure quand celle-ci s’éloigne puisque la plaque sera représentée par un nombre limité de pixel. 17/04/2017 Université des Sciences et Technologie de Lille

59 Mode Dégradé « Une Seule Caméra »
Question : Que se passe-t-il si la plaque sort du champ de vision commun aux deux caméras ? Réponse : En prenant en compte : La géométrie de la scène. Les dimensions de la plaque. « On utilise une seule Caméra ». Passons maintenant au mode dégradé : La question qui se pose : que se passe-t-il si la plaque sort du champs commun des deux caméras ? Dans le cadre de cette thèse nous avons fourni la réponse suivante : En prenant en compte la géométrie de la scène et les dimensions de la plaque, on peut utiliser une seule caméra ! Dans ce qui suit je vais développer les éléments de la réponse formulée ici ! 17/04/2017 Université des Sciences et Technologie de Lille

60 Profilage De La Géométrie De La Plaque
Dans le cas particulier de notre application la plaque est représentée par un rectangle définit par : quatre coins et sa longueur et sa largeur. En examinons les projections de la plaque sur les plans OYZ et OXZ, nous pouvons en déduire les informations nécessaires à l’attelage. Dans le cas de notre application la plaque est représentée par un rectangle définit par : quatre coins et sa longueur et sa largeur En examinons les projections de la plaque sur les plans OYZ et OXZ, nous pouvons en déduire les informations nécessaires à l’attelage. 17/04/2017 Université des Sciences et Technologie de Lille

61 Les Informations Nécessaires À L’attelage
Les « Coordonnées 3D » des points caractéristiques de la plaque La « différence du cap » La « vitesse relative » Tel que, Les coordonnées 3D des points caractéristiques de la plaque peuvent être formulées comme suit … La différence du cap La vitesse relative 17/04/2017 Université des Sciences et Technologie de Lille

62 Quelques Résultats Simulation (1)
Simulation du suivi du véhicule tracteur, supposé effectuer un mouvement uniformément accéléré. Images calculées. Traitements équivalents « rigoureusement » à ceux utilisés dans le cas réel. Les résultats obtenus à l’issue de la simulation sont présentés sur la figure. Ceux-ci montrent que les estimations des coordonnées du point de référence (point « d’accroche visuel ») correspondent à leur évolution effective, imposée par la trajectoire du véhicule suivi relativement au véhicule suiveur. On constate que l’erreur commise sur la distance augmente avec la distance séparant les deux véhicules. Ceci est dû principalement au fait qu’à mesure que la plaque d’immatriculation s’éloigne, sa taille relative dans l’image diminue, induisant un « bruit de quantification » de plus en plus important relativement aux pixels constituant l’image de la plaque. Une façon de pallier cet inconvénient consisterait, par exemple, à utiliser une focale variable (zoom) de sorte à pouvoir conserver une image de la plaque suffisamment grande, même lorsque celle-ci est éloignée, de sorte à conserver un bon « rapport signal/bruit ». Bien sûr, une telle approche n’est pas sans poser des problèmes spécifiques que des projets tels que RAVIOLI[1] ont pour ambition de résoudre. [1] RAVIOLI : Radar et Vision Orientables Lidar 17/04/2017 Université des Sciences et Technologie de Lille

63 Quelques Résultats (2) Suivre un véhicule en temps réel.
La région d’intérêt estimée avec le filtre de Kalman Suivre un véhicule en temps réel. Estimée la distance entre les véhicules en utilisant une caméra. La distance réelle varie entre 16 et 28 mètres; elle a été mesurée en utilisant un télémètre à infra rouge très précis. Rectangle autour de la plaque Le graphique fait apparaître clairement la forte corrélation existant entre les valeurs des distances réelles et mesurées (le coefficient de corrélation est égal à ), la courbe de tendance (en pointillé rouge sur le graphique) exhibe également une pente de droite pratiquement égale à 1, cela signifie que les distances mesurées reflètent avec une grande fidélité la distance réelle relative de la plaque d’immatriculation du véhicule tracteur, et ceci malgré l’utilisation d’une seule caméra. 17/04/2017 Université des Sciences et Technologie de Lille

64 Université des Sciences et Technologie de Lille
Conclusion Le travail présenté ici a montré que la définition, la construction et la mise en oeuvre d’un capteur de vision adapté à la tâche d’attelage virtuel est parfaitement envisageable. La solution proposée ici se veut : Simple d’utilisation : ceci afin de pouvoir être exploitée par le plus grand nombre. Flexible : le système est ouvert et peu s’adapter très facilement à d’autres modèles de caméra ou de calculateur. Bas coût : car pouvant se contenter d’un matériel très largement diffusé. Embarquable : de par sa consommation électrique modérée lorsqu’il est mis en œuvre sur des calculateurs « stand alone » dédiés à l’embarqué et à bas coût. La conclusion qui peut être tirée des travaux qu’on a menés durant ma thèse est que la définition, la construction et la mise en oeuvre d’un capteur de vision adapté à la tâche d’attelage virtuel est parfaitement envisageable. La solution proposée ici se veut : Simple d’utilisation : ceci afin de pouvoir être exploitée par le plus grand nombre. Flexible : le système est ouvert et peu s’adapter très facilement à d’autres modèles de caméra ou de calculateur. Bas coût : car pouvant se contenter d’un matériel très largement diffusé. Embarquable : de par sa consommation électrique modérée lorsqu’il est mis en œuvre sur des calculateurs « stand alone » dédiés à l’embarqué et à bas coût. 17/04/2017 Université des Sciences et Technologie de Lille

65 Université des Sciences et Technologie de Lille
Les Perspectives Rendre la phase de tracking plus performante : En utilisant des données proprioceptives, telles que des mesures d’accélération, permettra de gérer les perturbations induites par les mouvements propres de la caisse du véhicule embarquant le capteur relativement à son châssis. Résoudre le problème du bruit sur l’estimation de la distance lorsque le véhicule s’éloigne en effectuant un « zoom » dynamique de sorte à opérer à rapport « signal / bruit-de- quantification » à peu près constant. Envisager de pouvoir orienter le dispositif en temps réel en direction du véhicule tracteur et accéder aux paramètres de calibration correspondant à la configuration courante. Cependant, malgré les résultats obtenus lors de nos expérimentations, certains points nécessitent d’être renforcés avant d’aboutir à une solution réellement utilisable en toute sécurité par le grand public. Rendre la phase de tracking plus performante : En utilisant des données proprioceptives, telles que des mesures d’accélération, permettra de gérer les perturbations induites par les mouvements propres de la caisse du véhicule embarquant le capteur relativement à son châssis. Résoudre le problème du bruit sur l’estimation de la distance lorsque le véhicule s’éloigne en effectuant un « zoom » dynamique de sorte à opérer à rapport « signal / bruit-de- quantification » à peu près constant. Envisager de pouvoir orienter le dispositif en temps réel en direction du véhicule tracteur et accéder aux paramètres de calibration correspondant à la configuration courante. 17/04/2017 Université des Sciences et Technologie de Lille

66 Université des Sciences et Technologie de Lille
Fin De La Présentation Merci de Votre Attention ! 17/04/2017 Université des Sciences et Technologie de Lille