Introduction à la vision numérique Présentation du plan de cours Lectures supplémentaires: Sonka et al: chap. 1 Patrick Hébert (dernière révision août 2008)

Qu'est-ce que la vision numérique? caméra: 1 ou plusieurs fixe ou mobile couleur, N&B, IR, X, TeraHz source: simple ou multiple ponctuelle ou non contrôlable ou non milieu de propagation Objets statiques ou dynamiques rigides ou déformables mats, transparents ou brillants traitement représentation raisonnement décision La vision numérique est un processus d’interprétation du monde observé à partir d’un ensemble d’images recueillies et disponibles sous forme numérique. Dans le cas général, une ou plusieurs caméras recueillent la lumière issue de la scène. La scène inclut les objets, les sources de lumière et le milieu de propagation. Pour interpréter la scène, on construira un modèle de celle-ci de même que du processus de formation des images dans la caméra. action Processus d’interprétation!

D’où part-on? Une image numérique matrice des valeurs de l'image noir et blanc de l'oeil *tirée de Trucco et Verri

Plan du cours – Une introduction plus 4 parties Introduction et mise à jour en mathématiques Formation des images Traitement de base d’une image Traitement multivue Interprétation des images

1- La formation des images: géométrie et radiométrie Projection, modèles de caméras et systèmes d’acquisition Radiométrie: lumière, sources, réflectance de surface, définition et application de concepts

2- Traitement de base d’une image Bruit Filtrage Extraction et description élémentaire de caractéristiques basées sur les pixels: points, régions, contours

3- La vision 3D: traitement multivue Quoi? Décrire la structure et l'organisation des objets dans l'espace Comment? la stéréoscopie la vision active le mouvement

4- Interprétation des images Extraction de structures à partir de modèles (ex: la segmentation) Reconnaissance basée sur les modèles spécifiques Classification et décision

Des applications de la vision Assemblage/inspection/métrologie Guidage Surveillance Communications homme-machine … Le défi de l’interprétation! Exemples de simplifications (contraintes) typiques: La géométrie de la scène est planaire. (vision 2D) Les objets sont polyédriques. Il n’y a qu’un ou quelques objets dans la scène. La position des objets dans la scène varie peu. Les objets d’intérêt sont de couleur bien marquées par rapport à l’arrière-scène. Les objets sont mats (par opposition à spéculaires) En contrôlant la scène et en adaptant le système d’acquisition, on simplifie le travail. C’est typiquement ce qui est fait en industrie. Le défi commence lorsqu’on tente de relaxer ces contraintes. En général, on imposera des contraintes pour simplifier le processus de vision.

Un exemple de ce que vous pourrez faire … Segmentation Suivi (tracking) Homographie

Autre exemple Un capteur 3D à lumière structurée

Autre exemple réalisé récemment au labo …

Deux derniers exemples! Suivi de trajectoire Meilleur projet 2007: Le ballon virtuel

Vision vs traitement des images Le traitement des images Améliorer une image pour visualisation (imagerie médicale, astronomie) Restaurer une image: corriger des dégradations (ex: le flou) à partir de modèles Compresser une image pour transmission sur réseau Contrairement à la vision, par le traitement des images on ne cherchera pas à expliquer le contenu de la scène. **En traitement d’images, l’interprétation demeure essentiellement au niveau du pixel. L’humain interprète le contenu de l’image.

Exemple de traitement d’image après avant Tirées de restoreinpaint.sourceforge.net

Autres domaines connexes Infographie (synthèse vs analyse) Photogrammétrie (cartographie, mesure) Reconnaissance de formes La démarche en infographie est opposée à celle de la vision puisqu’on part d’un modèle de la scène et on tente de synthétiser des images. En vision, on part de l’image et on tente de l’analyser pour en extraire la scène (une interprétation de celle-ci). Les deux approches se rejoignent au niveau de la construction des modèles. Ex1: On exploitera des images pour en générer d’autres! (méthodes de rendu basé sur les images) Ex2: En réalité augmenté, on superposera une « image synthétique » sur une image réelle. La photogrammétrie existe depuis 100 ans et consiste à utiliser les caméras comme appareil de mesure. Encore ici, elle rejoint actuellement la vision pour automatiser l’intégration des mesures dans les images. Ex: on recueille 10 000 photos aériennes pour cartographier une région. Êtes-vous disponible pour les assembler une à une?

Le modèle humain : Vision biologique et psychophysique Une source d'inspiration mais … Voici quelques exemples parmi des centaines! Pour ceux qui s’intéressent au « hardware humain », je suggère de consulter le livre: « The first steps in seeing » de Rodieck.

En êtes-vous sûrs? (faites un suivi avec votre doigt) La spirale de Fraser Que voyez-vous? En êtes-vous sûrs? (faites un suivi avec votre doigt) tirée de Nalwa

Une image est une projection d'une scène réelle Une image est une projection d'une scène réelle. Une même image peut donc être le résultat de plusieurs scènes (en théorie). Il faut donc plusieurs images ou des connaissances a priori sur la scène si on veut établir un lien avec le monde réel 3D.

Un exemple! Que voyez-vous? tirée de Nalwa Et maintenant?

Il s'agit du même fichier d'image avec une rotation à 180 degrés! Explication: on supposerait que l'éclairage provient du dessus tirée de Nalwa

Références utiles en vision sites web CVonline: http://www.dai.ed.ac.uk/CVonline computer vision homepage: http://www-2.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html computer vision bibliography: http://iris.usc.edu/Vision-Notes/bibliography/contents.html

Quelques journaux International Journal of Computer Vision IEEE Transactions on Pattern Analysis and Machine Intelligence Computer Vision and Image Understanding Machine Vision and Applications Image and vision Computing Journal Journal of the Optical Society of America A Pattern Recognition Journal of Photogrammetry and Remote Sensing

Magazines (abonnement gratuit!) Advanced Imaging Vision and System Design Ces magazines, à vocation commerciale, permettent de suivre l’évolution de l’industrie et du matériel.

Conférences International Conference on Computer Vision (ICCV) International Conference on Computer Vision and Pattern Recognition (CVPR) European Conference on Computer Vision (ECCV) International Conference on Image Processing (ICIP) International Conference on Pattern Recognition (ICPR) International Conference on Recent Advances in 3-D Modeling and Imaging (3DIM)

Outils mathématiques et librairie utiles Numerical Recipes Matlab Mathematica OpenCV http://opencvlibrary.sourceforge.net/