PRESENTATION Intro: présentation perso + Elvitec.

Présentation au sujet: "PRESENTATION Intro: présentation perso + Elvitec."— Transcription de la présentation:

1 PRESENTATION Intro: présentation perso + Elvitec.
Retrouvez-nous : stand A41 Intro: présentation perso + Elvitec. Je me présente , DL, ingenieur chez Elvitec qui est une société spécialisée dans la distribution de matériel de vision industriel à savoir tous les composants qui constituent une chaine d’acquisition et de traitement d’image: Camera, optique, cartes d’acquisition, bibliothèque de traitement d’image ainsi que les services d’ingénierie associés (formation , support , aide au développement). Nous travaillons principalement avec des sociétés specialiste en vision industriels, que ce soit des integrateurs, client OEM ou client End user possédant un service de vision. Depuis quelques années, la demande autour de la 3D en vision industrielle est grandissante: que ce soit pour localiser un objet, l’analyser sous toute ses formes, le comparer par rapport à un modèle, le mesurer ou plus simplement l’identifier, la 3D a apporté beaucoup par rapport à la vision 2D traditionnelle: un dimension de plus… Même si les techniques de base sont connues depuis longtemps, les capacités de traitement actuels ont rendu leur utilisation compatibles avec les temps de cycles Imposés en milieu industriel. Nous vous proposons dans cette conférence de refaire une passe, non exclusive des différentes méthodes fréquemment utilisées aujourd’hui en vision industrielle pour faire une reconstruction 3D d’un objet .

2 Les techniques d’acquisition et de reconstruction 3D
Il existent une multitude de techniques permettant la reconstruction d’un objet en 3 dimensions. Nous nous intéresserons dans cette présentation aux systèmes  conventionnels : sans contact basés sur des techniques de vision i.e par l’analyse et la mesure d’un rayonnement visible, réfléchi à la surface de la scène à reconstruire

3 Les méthodes sans contact utilisées en vision industrielle
Stéréo vision Triangulation laser Time of Flight Stéréo photométrie Interférométrie Determination De focus

4 D’autres existent mais sont moins répandues …
Shape from Defocus Shape from Motion Shape from Shadows Shape from Texture ….

5 Détermination de la pose d’un objet… sans reconstruction
Application type en Vision industrielle: Déterminer la pose 3D d’un objet Pose from Points Pose from Contours Si la géométrie de l’objet est connue, sa pose peut être calculée directement, sans reconstruction Matching

6 Principe de reconstruction par stéréo vision
Cette méthode de reconstruction repose sur le même principe que la vision 3D humaine

7 Principe de reconstruction par stéréo vision
Un système de stéréovision simple est composé de deux caméras regardant le même objet sous deux angles différents

8 Principe de reconstruction par stéréo vision
La connaissance: de la position relative des deux caméras, de la position relative d’un point dans chacune des deux images … permet de déterminer la position de ce point dans l’espace, par triangulation

9 Principe de reconstruction par stéréo vision
L’appariement d’un point sur chacune des 2 vues permet de calculer sa position (X,Y,Z) dans l’espace

10 Principe de reconstruction par stéréo vision
Conditions de mise en place d’un système par stéréo vision: Setup de deux caméras au minimum Visibilité de l’objet dans les deux images Homogénéité des intensités (éclairage + temps d’exposition) « Suffisamment » de texture

11 Principe de reconstruction par stéréo vision
S’il manque de la texture, la reconstruction sera peu robuste

12 Principe de reconstruction par stéréo vision
Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par stéréovision: La calibration: Détermination de la configuration géométrique entre les capteurs: Rotation + translation L’appariement: Trouver les zones semblables entre les deux images La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)

13 Principe de reconstruction par stéréo vision
La calibration: Détermination de la configuration géométrique entre les capteurs (Rotation + translation) + paramètres internes des caméras

14 Principe de reconstruction par stéréo vision
La plaque de calibration doit couvrir au maximum l’ensemble du volume utilisé pour la mesure.

15 Principe de reconstruction par stéréo vision
Mise en œuvre…

16 Principe de reconstruction par stéréo vision
L’appariement: Trouver une correspondance entre la vue de gauche et la vue de droite de chacun des points de l’image

17 Principe de reconstruction par stéréo vision
La correspondence entre pixels se fait par matching en niveaux de gris Les niveaux de gris de l’image de référence sont mis en correspondance avec ceux situés à l’intérieur d’une zone de recherche, le long de la ligne épipolaire

18 Principe de reconstruction par stéréo vision
L’appariement par matching est une opération avec deux degrés de liberté: nous utiliserons les lignes épipolaires pour réduire cette contrainte. La ligne épipolaire est la ligne d’intersection entre <Pw,O1,O2> et le plan image

19 Principe de reconstruction par stéréo vision
Deux points différents ont deux lignes épipolaires différentes. Toutes les lignes épipolaires doivent se couper en un point unique

20 Principe de reconstruction par stéréo vision
Les distorsions optiques transforment les lignes épipolaire en courbes D’où une correction nécessaire…

21 Principe de reconstruction par stéréo vision
D’où une correction nécessaire…

22 Principe de reconstruction par stéréo vision
L’utilisation des lignes épipolaires permet de vérifier de la bonne calibration du système Moins de 1 pixel calculé sur la coordonnée y du point

23 Principe de reconstruction par stéréo vision
… et d’affiner la zone de recherche pour la correspondance

24 Principe de reconstruction par stéréo vision
L’image des disparités illustrera de la correspondance entre les points

25 Principe de reconstruction par stéréo vision
Une valeur faible dans l’image des disparités indique qu’un point n’a pas été identifié correctement lors de l’appariement

26 Principe de reconstruction par stéréo vision
L’appariement: Si l’objet manque de « points caractéristiques », une texture peut être créée par projection d’un pattern sur l’objet: système actif.

27 Principe de reconstruction par stéréo vision
La reconstruction proprement dite: à partir des coordonnées image des primitives, calculer (X,Y,Z)

28 Principe de reconstruction par stéréo vision
Le workflow complet

29 Généralisation: le multi-vues
Contrairement au système binoculaire, un setup Multi-vues permet de combiner plus de 2 cameras simultanément: Objectifs: reconstruire un objet entièrement éliminer les zones d’occlusions

30 Généralisation: le multi-vues
La calibration s’effectue « en chaîne », par doublet de caméra. Le nombre de caméras n’est pas limité (en fonction de ressources d’acquisition/traitement disponibles)

31 Généralisation: le multi-vues
Les caméras doivent être « connectées » via leur poses 3D

32 Généralisation: le multi-vues
Exemples de reconstructions multi-vues

33 Généralisation: le multi-vues
Présence sur le marché de capteurs de stéréovision pré calibrés et chaînables en série. Capteur CMOS Projecteur de texture intégré Interface USB ou GigE Technologie Flexview (N35) Chaînage de capteurs possible Interfaçage Halcon 12 Ensenso

34 Généralisation: le multi-vues
Précisions envisagées…

35 Généralisation: le multi-vues
Exemple d’application Guidage robot

36 Principe de reconstruction par triangulation laser
Le terme de triangulation trouve son origine d’une part dans la disposition des composants du système (source laser, caméra et objet à digitaliser forment les trois sommets d’un triangle) ainsi que dans l’emploi des relations sur les triangles semblables utilisées pour passer de l’espace 2D de l’image au repère 3D du monde réel.

37 Principe de reconstruction par triangulation laser
Les étapes de la triangulation sont les suivantes : 1. Un trait laser est projeté à la verticale (ou pas) de l’objet à digitaliser. 2. Une caméra, inclinée d’un angle θ par rapport à l’axe du laser, filme la scène pour une position Xi de l’objet 3. Le trait numérisé est transformé en une suite de points 3D d’abscisse commune Xi. 4. L’objet est décalé, suivant l’axe des abscisses Xw, à la position Xi+1 pour réaliser la prise de vue suivante.

38 Principe de reconstruction par triangulation laser
Le trait laser apparaît déformé en fonction du relief de l’objet. La coordonnée v d’un point du trait dans l’image croit avec l’altitude du point sur l’objet réel.

39 Principe de reconstruction par triangulation laser
L’objet est reconstruit à partir le l’extraction successive des profils ligne

40 Principe de reconstruction par triangulation laser
Le choix de l’angle θ de triangulation, très important, doit permettre de percevoir le relief de façon satisfaisante tout en garantissant que le trait généré par le laser soit toujours visible dans son entier par la caméra, sans qu’une portion soit masquée par une variation de relief de la pièce

41 Principe de reconstruction par triangulation laser
Le but étant d’éliminer les occlusions et/ou les effets d’ombre

42 Principe de reconstruction par triangulation laser
Trois étapes sont nécessaires afin de réaliser une reconstruction 3D par triangulation laser: La calibration L’extraction des profils La reconstruction

43 Principe de reconstruction par triangulation laser
Une procédure de calibration est nécessaire pour convertir les triplets de coordonnées du système de triangulation en coordonnées métriques (Xi;Yi;Zi) du monde réel. Soit à partir d’une mire…

44 Principe de reconstruction par triangulation laser
Soit à partir d’un objet 3D de référence…

45 Principe de reconstruction par triangulation laser
L’extraction des profils nécessite une ligne laser de qualité (attention au speckle)

46 Principe de reconstruction par triangulation laser
La reconstruction… L’objet à mesurer L’extraction des profils

47 Principe de reconstruction par triangulation laser
La reconstruction… L’objet reconstruit Les coordonnées calculées

48 Principe de reconstruction par triangulation laser
Exemple d’application La comparaison de surfaces

49 Principe de reconstruction par triangulation laser
Présence sur le marché de capteurs 3D par triangulation pré calibrés en usine. Communication Ethernet (fast et 1 GigE) Laser à 660 nm (classe 2M) SDK d’acquisition fourni Interfaçage Halcon 12 Encombrement réduit

50 Principe de reconstruction par triangulation laser
Précisions envisagées…

51 Reconstruction par la mesure de focus
Depth from Focus…

52 Reconstruction par la mesure de focus
Principe: Travailler sur une série d’images dont nous extrairons les parties focalisées.

53 Reconstruction par la mesure de focus
Workflow… Serie d’images Depth from focus Image de netteté Image 3D

54 Reconstruction par la mesure de focus
L’extraction des données focalisées sur l’image.

55 Reconstruction par la mesure de focus
Setup recommandé pour ce genre de mesures… Travailler avec des objectifs télécentriques (« constance » du focus sur un plan donné) Utilisation d’un miroir pour déplacer le plan de focalisation (plus rapide et moins soumis aux vibrations qu’un déplacement caméra) Avoir la profondeur de champ la plus petite possible… Utiliser une grande ouverture optique… Soigner l’éclairage, idéalement multi directionnel

56 Reconstruction par la mesure de focus
Setup recommandé pour ce genre de mesures… Un éclairage de type dôme donnera de bons résultats par l’éclairement uniforme aux différents plans de focalisation

57 Reconstruction par la mesure de focus
Exemples d’applications:

58 Analyse par stéréo photométrie
Le principe de stéréo photométrie repose sur l’utilisation d’une série d'images pour reconstruire la surface de l'objet. La caméra et l'objet sont fixes, tandis que la scène est éclairée avec des orientations différentes (mais connues)

59 Analyse par stéréo photométrie
Nous supposerons que les sources lumineuses sont réglées à l’infini (par exemple , les rayons lumineux sont parallèles ) et que les propriétés de réflectance de l'objet sont connues

60 analyse par stéréo photométrie
L’orientation de chaque illuminant doit être connu de façon précise.

61 Analyse par stéréo photométrie
L’orientation de chaque illuminant doit être connu de façon précise.

62 Analyse par stéréo photométrie
L’orientation de chaque illuminant doit être connu de façon précise.

63 Analyse par stéréo photométrie
Workflow…

64 Analyse par stéréo photométrie
Attention: la stéréo photométrie ne permet pas une reconstruction absolue (pas de métrique) et n’est donc pas concurrente à la triangulation laser ou la stéréo vision.

65 Analysepar stéréo photométrie
Exemples d’applications… - Aide à la segmentation… - Inspection surfacique…

66 Les caméras TOF (Time of Flight)
Ce principe est basé sur la mesure de temps nécessaire à la lumière pour se rendre de la source lumineuse à l’objet et de l’objet à la caméra.

67 Les caméras TOF (Time of Flight)
Une série de « pulse » sont émis par la source et récupérés avec un décalage de phase, après réflexion sur l’objet

68 Les caméras TOF (Time of Flight)
Ce décalage permet de calculer pour chacun des points, la distance à la scène : distance à calculer : vitesse de la lumière : Fréquence d’émission du signal : décalage de phase observé

69 Principe de reconstruction par stéréo vision
Exemple de reconstruction

70 Comment choisir la bonne méthode de reconstruction?
Quelques questions à se poser... Que dois je déterminer? Quelles sont les caractéristiques de l’objet? Quelles sont les contraintes d’intégration?

71 Comment choisir la bonne méthode de reconstruction?
Que dois je déterminer? La pose de l’objet? Coordonnées? Orientation? Ai-je besoin de quelques points de mesures ou bien dois reconstruire l’objet dans sa totalité?

72 Comment choisir la bonne méthode de reconstruction?
Que dois je déterminer? Quelle est la résolution souhaitée? Quelles seront les « difficultés »?

73 Comment choisir la bonne méthode de reconstruction?
Quelles sont les caractéristiques de l’objet? Mécaniques Volume de l’objet? Surfaces planes? Il y a-t-il des zones d’occlusion? Géométrie de l’objet: surface « libres » ou primitives Connues? Optiques Opacité de l’objet? Pouvoir réfléchissant? Présence de texture? Couleur?

74 Comment choisir la bonne méthode de reconstruction?
Quelles sont les contraintes d’intégration? Encombrement disponible? Objet statique ou en défilement? Cadence de traitement ? Pollution lumineuse ambiante?

75 Comment choisir la bonne méthode de reconstruction?
Exemple d’arbre de décision…

76 Comment choisir la bonne méthode de reconstruction?
… en prenant contact avec nous… Retrouvez-nous : stand A41

77 Merci de votre attention
Impasse Thomas Edison Pertuis - France Tél : +33 (0) Fax : +33 (0) 77