Introduction à la vision numérique

Présentation au sujet: "Introduction à la vision numérique"— Transcription de la présentation:

1 Introduction à la vision numérique
Présentation du plan de cours Lectures supplémentaires: Sonka et al: chap. 1 Patrick Hébert (dernière révision août 2008)

2 Qu'est-ce que la vision numérique?
caméra: 1 ou plusieurs fixe ou mobile couleur, N&B, IR, X, TeraHz source: simple ou multiple ponctuelle ou non contrôlable ou non milieu de propagation Objets statiques ou dynamiques rigides ou déformables mats, transparents ou brillants traitement représentation raisonnement décision La vision numérique est un processus d’interprétation du monde observé à partir d’un ensemble d’images recueillies et disponibles sous forme numérique. Dans le cas général, une ou plusieurs caméras recueillent la lumière issue de la scène. La scène inclut les objets, les sources de lumière et le milieu de propagation. Pour interpréter la scène, on construira un modèle de celle-ci de même que du processus de formation des images dans la caméra. action Processus d’interprétation!

3 D’où part-on? Une image numérique
matrice des valeurs de l'image noir et blanc de l'oeil *tirée de Trucco et Verri

4 Plan du cours – Une introduction plus 4 parties
Introduction et mise à jour en mathématiques Formation des images Traitement de base d’une image Traitement multivue Interprétation des images

5 1- La formation des images: géométrie et radiométrie
Projection, modèles de caméras et systèmes d’acquisition Radiométrie: lumière, sources, réflectance de surface, définition et application de concepts

6 2- Traitement de base d’une image
Bruit Filtrage Extraction et description élémentaire de caractéristiques basées sur les pixels: points, régions, contours

7 3- La vision 3D: traitement multivue
Quoi? Décrire la structure et l'organisation des objets dans l'espace Comment? la stéréoscopie la vision active le mouvement

8 4- Interprétation des images
Extraction de structures à partir de modèles (ex: la segmentation) Reconnaissance basée sur les modèles spécifiques Classification et décision

9 Des applications de la vision
Assemblage/inspection/métrologie Guidage Surveillance Communications homme-machine … Le défi de l’interprétation! Exemples de simplifications (contraintes) typiques: La géométrie de la scène est planaire. (vision 2D) Les objets sont polyédriques. Il n’y a qu’un ou quelques objets dans la scène. La position des objets dans la scène varie peu. Les objets d’intérêt sont de couleur bien marquées par rapport à l’arrière-scène. Les objets sont mats (par opposition à spéculaires) En contrôlant la scène et en adaptant le système d’acquisition, on simplifie le travail. C’est typiquement ce qui est fait en industrie. Le défi commence lorsqu’on tente de relaxer ces contraintes. En général, on imposera des contraintes pour simplifier le processus de vision.

10 Un exemple de ce que vous pourrez faire …
Segmentation Suivi (tracking) Homographie

11 Autre exemple Un capteur 3D à lumière structurée

12 Autre exemple réalisé récemment au labo …

13 Deux derniers exemples!
Suivi de trajectoire Meilleur projet 2007: Le ballon virtuel

14 Vision vs traitement des images
Le traitement des images Améliorer une image pour visualisation (imagerie médicale, astronomie) Restaurer une image: corriger des dégradations (ex: le flou) à partir de modèles Compresser une image pour transmission sur réseau Contrairement à la vision, par le traitement des images on ne cherchera pas à expliquer le contenu de la scène. **En traitement d’images, l’interprétation demeure essentiellement au niveau du pixel. L’humain interprète le contenu de l’image.

15 Exemple de traitement d’image
après avant Tirées de restoreinpaint.sourceforge.net

16 Autres domaines connexes
Infographie (synthèse vs analyse) Photogrammétrie (cartographie, mesure) Reconnaissance de formes La démarche en infographie est opposée à celle de la vision puisqu’on part d’un modèle de la scène et on tente de synthétiser des images. En vision, on part de l’image et on tente de l’analyser pour en extraire la scène (une interprétation de celle-ci). Les deux approches se rejoignent au niveau de la construction des modèles. Ex1: On exploitera des images pour en générer d’autres! (méthodes de rendu basé sur les images) Ex2: En réalité augmenté, on superposera une « image synthétique » sur une image réelle. La photogrammétrie existe depuis 100 ans et consiste à utiliser les caméras comme appareil de mesure. Encore ici, elle rejoint actuellement la vision pour automatiser l’intégration des mesures dans les images. Ex: on recueille photos aériennes pour cartographier une région. Êtes-vous disponible pour les assembler une à une?

17 Le modèle humain : Vision biologique et psychophysique
Une source d'inspiration mais … Voici quelques exemples parmi des centaines! Pour ceux qui s’intéressent au « hardware humain », je suggère de consulter le livre: « The first steps in seeing » de Rodieck.

18 En êtes-vous sûrs? (faites un suivi avec votre doigt)
La spirale de Fraser Que voyez-vous? En êtes-vous sûrs? (faites un suivi avec votre doigt) tirée de Nalwa

19 Une image est une projection d'une scène réelle
Une image est une projection d'une scène réelle. Une même image peut donc être le résultat de plusieurs scènes (en théorie). Il faut donc plusieurs images ou des connaissances a priori sur la scène si on veut établir un lien avec le monde réel 3D.

20 Un exemple! Que voyez-vous? tirée de Nalwa Et maintenant?

21 Il s'agit du même fichier d'image avec une rotation à 180 degrés!
Explication: on supposerait que l'éclairage provient du dessus tirée de Nalwa

22 Références utiles en vision
sites web CVonline: computer vision homepage: computer vision bibliography:

23 Quelques journaux International Journal of Computer Vision
IEEE Transactions on Pattern Analysis and Machine Intelligence Computer Vision and Image Understanding Machine Vision and Applications Image and vision Computing Journal Journal of the Optical Society of America A Pattern Recognition Journal of Photogrammetry and Remote Sensing

24 Magazines (abonnement gratuit!)
Advanced Imaging Vision and System Design Ces magazines, à vocation commerciale, permettent de suivre l’évolution de l’industrie et du matériel.

25 Conférences International Conference on Computer Vision (ICCV)
International Conference on Computer Vision and Pattern Recognition (CVPR) European Conference on Computer Vision (ECCV) International Conference on Image Processing (ICIP) International Conference on Pattern Recognition (ICPR) International Conference on Recent Advances in 3-D Modeling and Imaging (3DIM)

26 Outils mathématiques et librairie utiles
Numerical Recipes Matlab Mathematica OpenCV