PRESENTATION Intro: présentation perso + Elvitec. Retrouvez-nous : stand A41 Intro: présentation perso + Elvitec. Je me présente , DL, ingenieur chez Elvitec qui est une société spécialisée dans la distribution de matériel de vision industriel à savoir tous les composants qui constituent une chaine d’acquisition et de traitement d’image: Camera, optique, cartes d’acquisition, bibliothèque de traitement d’image ainsi que les services d’ingénierie associés (formation , support , aide au développement). Nous travaillons principalement avec des sociétés specialiste en vision industriels, que ce soit des integrateurs, client OEM ou client End user possédant un service de vision. Depuis quelques années, la demande autour de la 3D en vision industrielle est grandissante: que ce soit pour localiser un objet, l’analyser sous toute ses formes, le comparer par rapport à un modèle, le mesurer ou plus simplement l’identifier, la 3D a apporté beaucoup par rapport à la vision 2D traditionnelle: un dimension de plus… Même si les techniques de base sont connues depuis longtemps, les capacités de traitement actuels ont rendu leur utilisation compatibles avec les temps de cycles Imposés en milieu industriel. Nous vous proposons dans cette conférence de refaire une passe, non exclusive des différentes méthodes fréquemment utilisées aujourd’hui en vision industrielle pour faire une reconstruction 3D d’un objet .

Les techniques d’acquisition et de reconstruction 3D Il existent une multitude de techniques permettant la reconstruction d’un objet en 3 dimensions. Nous nous intéresserons dans cette présentation aux systèmes  conventionnels : sans contact basés sur des techniques de vision i.e par l’analyse et la mesure d’un rayonnement visible, réfléchi à la surface de la scène à reconstruire

Les méthodes sans contact utilisées en vision industrielle Stéréo vision Triangulation laser Time of Flight Stéréo photométrie Interférométrie Determination De focus

D’autres existent mais sont moins répandues … Shape from Defocus Shape from Motion Shape from Shadows Shape from Texture ….

Détermination de la pose d’un objet… sans reconstruction Application type en Vision industrielle: Déterminer la pose 3D d’un objet Pose from Points Pose from Contours Si la géométrie de l’objet est connue, sa pose peut être calculée directement, sans reconstruction Matching

Principe de reconstruction par stéréo vision Cette méthode de reconstruction repose sur le même principe que la vision 3D humaine

Principe de reconstruction par stéréo vision Un système de stéréovision simple est composé de deux caméras regardant le même objet sous deux angles différents

Principe de reconstruction par stéréo vision La connaissance: de la position relative des deux caméras, de la position relative d’un point dans chacune des deux images … permet de déterminer la position de ce point dans l’espace, par triangulation

Principe de reconstruction par stéréo vision L’appariement d’un point sur chacune des 2 vues permet de calculer sa position (X,Y,Z) dans l’espace

Principe de reconstruction par stéréo vision Conditions de mise en place d’un système par stéréo vision: Setup de deux caméras au minimum Visibilité de l’objet dans les deux images Homogénéité des intensités (éclairage + temps d’exposition) « Suffisamment » de texture

Principe de reconstruction par stéréo vision S’il manque de la texture, la reconstruction sera peu robuste

Principe de reconstruction par stéréo vision Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par stéréovision: La calibration: Détermination de la configuration géométrique entre les capteurs: Rotation + translation L’appariement: Trouver les zones semblables entre les deux images La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)

Principe de reconstruction par stéréo vision La calibration: Détermination de la configuration géométrique entre les capteurs (Rotation + translation) + paramètres internes des caméras

Principe de reconstruction par stéréo vision La plaque de calibration doit couvrir au maximum l’ensemble du volume utilisé pour la mesure.

Principe de reconstruction par stéréo vision Mise en œuvre…

Principe de reconstruction par stéréo vision L’appariement: Trouver une correspondance entre la vue de gauche et la vue de droite de chacun des points de l’image

Principe de reconstruction par stéréo vision La correspondence entre pixels se fait par matching en niveaux de gris Les niveaux de gris de l’image de référence sont mis en correspondance avec ceux situés à l’intérieur d’une zone de recherche, le long de la ligne épipolaire

Principe de reconstruction par stéréo vision L’appariement par matching est une opération avec deux degrés de liberté: nous utiliserons les lignes épipolaires pour réduire cette contrainte. La ligne épipolaire est la ligne d’intersection entre <Pw,O1,O2> et le plan image

Principe de reconstruction par stéréo vision Deux points différents ont deux lignes épipolaires différentes. Toutes les lignes épipolaires doivent se couper en un point unique

Principe de reconstruction par stéréo vision Les distorsions optiques transforment les lignes épipolaire en courbes D’où une correction nécessaire…

Principe de reconstruction par stéréo vision D’où une correction nécessaire…

Principe de reconstruction par stéréo vision L’utilisation des lignes épipolaires permet de vérifier de la bonne calibration du système Moins de 1 pixel calculé sur la coordonnée y du point

Principe de reconstruction par stéréo vision … et d’affiner la zone de recherche pour la correspondance

Principe de reconstruction par stéréo vision L’image des disparités illustrera de la correspondance entre les points

Principe de reconstruction par stéréo vision Une valeur faible dans l’image des disparités indique qu’un point n’a pas été identifié correctement lors de l’appariement

Principe de reconstruction par stéréo vision L’appariement: Si l’objet manque de « points caractéristiques », une texture peut être créée par projection d’un pattern sur l’objet: système actif.

Principe de reconstruction par stéréo vision La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)

Principe de reconstruction par stéréo vision Le workflow complet

Généralisation: le multi-vues Contrairement au système binoculaire, un setup Multi-vues permet de combiner plus de 2 cameras simultanément: Objectifs: reconstruire un objet entièrement éliminer les zones d’occlusions

Généralisation: le multi-vues La calibration s’effectue « en chaîne », par doublet de caméra. Le nombre de caméras n’est pas limité (en fonction de ressources d’acquisition/traitement disponibles)

Généralisation: le multi-vues Les caméras doivent être « connectées » via leur poses 3D

Généralisation: le multi-vues Exemples de reconstructions multi-vues

Généralisation: le multi-vues Présence sur le marché de capteurs de stéréovision pré calibrés et chaînables en série. Capteur CMOS Projecteur de texture intégré Interface USB ou GigE Technologie Flexview (N35) Chaînage de capteurs possible Interfaçage Halcon 12 Ensenso

Généralisation: le multi-vues Précisions envisagées…

Généralisation: le multi-vues Exemple d’application Guidage robot

Principe de reconstruction par triangulation laser Le terme de triangulation trouve son origine d’une part dans la disposition des composants du système (source laser, caméra et objet à digitaliser forment les trois sommets d’un triangle) ainsi que dans l’emploi des relations sur les triangles semblables utilisées pour passer de l’espace 2D de l’image au repère 3D du monde réel.

Principe de reconstruction par triangulation laser Les étapes de la triangulation sont les suivantes : 1. Un trait laser est projeté à la verticale (ou pas) de l’objet à digitaliser. 2. Une caméra, inclinée d’un angle θ par rapport à l’axe du laser, filme la scène pour une position Xi de l’objet 3. Le trait numérisé est transformé en une suite de points 3D d’abscisse commune Xi. 4. L’objet est décalé, suivant l’axe des abscisses Xw, à la position Xi+1 pour réaliser la prise de vue suivante.

Principe de reconstruction par triangulation laser Le trait laser apparaît déformé en fonction du relief de l’objet. La coordonnée v d’un point du trait dans l’image croit avec l’altitude du point sur l’objet réel.

Principe de reconstruction par triangulation laser L’objet est reconstruit à partir le l’extraction successive des profils ligne

Principe de reconstruction par triangulation laser Le choix de l’angle θ de triangulation, très important, doit permettre de percevoir le relief de façon satisfaisante tout en garantissant que le trait généré par le laser soit toujours visible dans son entier par la caméra, sans qu’une portion soit masquée par une variation de relief de la pièce

Principe de reconstruction par triangulation laser Le but étant d’éliminer les occlusions et/ou les effets d’ombre

Principe de reconstruction par triangulation laser Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par triangulation laser: La calibration L’extraction des profils La reconstruction

Principe de reconstruction par triangulation laser Une procédure de calibration est nécessaire pour convertir les triplets de coordonnées du système de triangulation en coordonnées métriques (Xi;Yi;Zi) du monde réel. Soit à partir d’une mire…

Principe de reconstruction par triangulation laser Soit à partir d’un objet 3D de référence…

Principe de reconstruction par triangulation laser L’extraction des profils nécessite une ligne laser de qualité (attention au speckle)

Principe de reconstruction par triangulation laser La reconstruction… L’objet à mesurer L’extraction des profils

Principe de reconstruction par triangulation laser La reconstruction… L’objet reconstruit Les coordonnées calculées

Principe de reconstruction par triangulation laser Exemple d’application La comparaison de surfaces

Principe de reconstruction par triangulation laser Présence sur le marché de capteurs 3D par triangulation pré calibrés en usine. Communication Ethernet (fast et 1 GigE) Laser à 660 nm (classe 2M) SDK d’acquisition fourni Interfaçage Halcon 12 Encombrement réduit

Principe de reconstruction par triangulation laser Précisions envisagées…

Reconstruction par la mesure de focus Depth from Focus…

Reconstruction par la mesure de focus Principe: Travailler sur une série d’images dont nous extrairons les parties focalisées.

Reconstruction par la mesure de focus Workflow… Serie d’images Depth from focus Image de netteté Image 3D

Reconstruction par la mesure de focus L’extraction des données focalisées sur l’image.

Reconstruction par la mesure de focus Setup recommandé pour ce genre de mesures… Travailler avec des objectifs télécentriques (« constance » du focus sur un plan donné) Utilisation d’un miroir pour déplacer le plan de focalisation (plus rapide et moins soumis aux vibrations qu’un déplacement caméra) Avoir la profondeur de champ la plus petite possible… Utiliser une grande ouverture optique… Soigner l’éclairage, idéalement multi directionnel

Reconstruction par la mesure de focus Setup recommandé pour ce genre de mesures… Un éclairage de type dôme donnera de bons résultats par l’éclairement uniforme aux différents plans de focalisation

Reconstruction par la mesure de focus Exemples d’applications:

Analyse par stéréo photométrie Le principe de stéréo photométrie repose sur l’utilisation d’une série d'images pour reconstruire la surface de l'objet. La caméra et l'objet sont fixes, tandis que la scène est éclairée avec des orientations différentes (mais connues)

Analyse par stéréo photométrie Nous supposerons que les sources lumineuses sont réglées à l’infini (par exemple , les rayons lumineux sont parallèles ) et que les propriétés de réflectance de l'objet sont connues

analyse par stéréo photométrie L’orientation de chaque illuminant doit être connu de façon précise.

Analyse par stéréo photométrie L’orientation de chaque illuminant doit être connu de façon précise.

Analyse par stéréo photométrie L’orientation de chaque illuminant doit être connu de façon précise.

Analyse par stéréo photométrie Workflow…

Analyse par stéréo photométrie Attention: la stéréo photométrie ne permet pas une reconstruction absolue (pas de métrique) et n’est donc pas concurrente à la triangulation laser ou la stéréo vision.

Analysepar stéréo photométrie Exemples d’applications… - Aide à la segmentation… - Inspection surfacique…

Les caméras TOF (Time of Flight) Ce principe est basé sur la mesure de temps nécessaire à la lumière pour se rendre de la source lumineuse à l’objet et de l’objet à la caméra.

Les caméras TOF (Time of Flight) Une série de « pulse » sont émis par la source et récupérés avec un décalage de phase, après réflexion sur l’objet

Les caméras TOF (Time of Flight) Ce décalage permet de calculer pour chacun des points, la distance à la scène : distance à calculer : vitesse de la lumière : Fréquence d’émission du signal : décalage de phase observé

Principe de reconstruction par stéréo vision Exemple de reconstruction

Comment choisir la bonne méthode de reconstruction? Quelques questions à se poser... Que dois je déterminer? Quelles sont les caractéristiques de l’objet? Quelles sont les contraintes d’intégration?

Comment choisir la bonne méthode de reconstruction? Que dois je déterminer? La pose de l’objet? Coordonnées? Orientation? Ai-je besoin de quelques points de mesures ou bien dois reconstruire l’objet dans sa totalité?

Comment choisir la bonne méthode de reconstruction? Que dois je déterminer? Quelle est la résolution souhaitée? Quelles seront les « difficultés »?

Comment choisir la bonne méthode de reconstruction? Quelles sont les caractéristiques de l’objet? Mécaniques Volume de l’objet? Surfaces planes? Il y a-t-il des zones d’occlusion? Géométrie de l’objet: surface « libres » ou primitives Connues? Optiques Opacité de l’objet? Pouvoir réfléchissant? Présence de texture? Couleur?

Comment choisir la bonne méthode de reconstruction? Quelles sont les contraintes d’intégration? Encombrement disponible? Objet statique ou en défilement? Cadence de traitement ? Pollution lumineuse ambiante?

Comment choisir la bonne méthode de reconstruction? Exemple d’arbre de décision…

Comment choisir la bonne méthode de reconstruction? … en prenant contact avec nous… Retrouvez-nous : stand A41

Merci de votre attention Impasse Thomas Edison 84120 Pertuis - France Tél : +33 (0)4 90 09 25 80 Fax : +33 (0)4 90 79 34 38 sales@elvitec.fr support@elvitec.fr 77