La caméra:modèle d'acquisition Références utiles: Sonka et al: Sections: 3.4.2, 3.4.3, 11.2.1, 2.5 . Site commercial: http://www.1394imaging.com/en/resources/whitepapers/ Dernière révision: Patrick Hébert septembre 2008

Projection de perspective Le modèle du sténopé (pinhole) Brunelleschi (début 15ième siècle) Début 15e siècle: C’est la renaissance! C’est aussi une cinquantaine d’années avant la naissance de Léonard de Vinci. Remarquez que le modèle de sténopé inverse l’image. On peut utiliser ce modèle pour observer des éclipses de soleil. On prendra une boite de carton et on percera un second trou sur la même face, donc un trou pour laisser entrer la lumière et un second plus gros pour observer. De la même façon, on peut fabriquer un appareil photo sans lentille. www.niepce.com *tirée de Nalwa Mots clés: camera obscura, Nicéphore Niepce

l'ouverture ne peut être infiniment petite point principal x P F O z CP axe optique P’ y Le sténopé inverseur Plan image un seul rayon atteint chacun des points du plan image (profondeur de champ infinie) l'ouverture ne peut être infiniment petite Vocabulaire à retenir: Repère caméra CP: centre de projection, i.e. la position de l’ouverture Axe optique (habituellement l’axe Z par convention) Plan image Point principal: intersection de l’axe optique avec le plan image F: constante qui représente la distance entre l’ouverture et le plan image (à ne pas confondre avec la focale d’une lentille) P: point sur l’objet P’: point dans le plan image Profondeur de champ: plage de distance en Z à l’intérieur de laquelle un point Po apparaît net dans le plan image Angle solide: surface sous-tendue d’une sphère de rayon unitaire - se mesure en stéradians (sr) – C’est l’équivalent 3D du radian en 2D Un angle qui couvre la sphère au complet est de 4 * PI sr

Les équations Deux Buts Prédiction de la position d’un point P’ dans l'image à partir de P, connu dans le repère de la caméra Calcul de l'équation d'un rayon (projecteur) à partir d'un point image OP’ = l OP équation paramétrique d'un projecteur** prédiction d'un point objet dans une image** La projection de perspective entraîne une perte d’information (la troisième dimension). On le voit bien à la figure 1.3 a) de Forsyth (où d’ailleurs il manque les ‘ dans l’image.) Développement des deux équations: le projecteur et la prédiction d’un point image ** démo au tableau

Remarques C'est une forme non-linéaire en z** On voudrait une forme: X’ = P X Comment? En passant par les coordonnées homogènes dans un espace de dimension 3 + 1 = 4** Développement sur les coordonnées homogènes

Le sténopé non-inverseur Le modèle d’un sténopé non inverseur ne peut être réalisé en pratique puisque le plan image est situé entre l’objet observé et le centre de projection. Les mêmes équations (que le modèle inverseur) sont valables sauf qu’on s’affranchit du signe -. On utilisera surtout ce modèle pour représenter les caméras. **tirée de Nalwa Les équations sont les mêmes sans le signe négatif Cette forme ne peut être réalisée en pratique – modèle -

Albrecht Durer – 16e siècle

Point de fuite et ligne d'horizon Le point de fuite est un point de l'image (en projection de perspective) où toutes les droites parallèles selon une orientation en 3D, convergent. C'est donc l’image d’un point à l'infini: x = (a, b, 0). Ex: le couloir! Ce point est sur l'image à l'endroit où une droite de même orientation passe par le CP. Il existe un point de fuite par orientation de droites 3D. La ligne d'horizon est l'intersection du plan image et d'un plan, passant par le CP, qui est parallèle à un plan contenant un ensemble d’éléments observés - des droites d'un plan 3D par exemple.

Exemple: point de fuite et ligne d’horizon Plan image Point de fuite CP *tirée de Forsyth

Photo T. Fuhrmann

Projections affines (formes simplifiées) Considérons m = F/z comme un facteur d'échelle (magnification) x’ = -m x Y’ = -m y Si la scène observée est relativement peu profonde selon z (Dz est petit), alors on considère m constant (perspective faible) Si z est environ constant dans la scène, alors on utilise un modèle de projection orthographique X’ = X (après normalisation des coordonnées images telles que m = -1) Y’ = Y Les projections affines sont des formes simplifiées de la projection de perspective. Elles seront utiles plus tard pour résoudre des équations du calcul du mouvement ou de la reconstruction géométrique d’une scène. La projection de perspective faible permet de prévoir la taille variable (dépend de z = cste) d’un objet dans l’image. La projection orthographique suppose que la taille de l’objet est constante dans l’image, quelle que soit la distance de l’objet à la caméra. C’est encore plus restrictif. La projection orthographique n’est pas seulement théorique. Les lentilles télécentriques en vision industrielle suivent ce modèle.

Représentations matricielles Perspective Perspective faible orthographique

Autres projections sphérique: la rétine! cylindrique: des images panoramiques On traitera essentiellement le cas d’images planes. Dans le cas de l’œil humain, la rétine est une section de sphère (approximativement). On pourrait développer les équations. Plus simple encore que la sphère est le cylindre qui permet de créer des images panoramiques. Ce qui est intéressant ici, c’est qu’on peut assemblée des images planes en les reprojetant sur le cylindre. Question: Si je construis un panoramique à partir d’un ensemble limité d’images planes en tournant simplement la caméra autour d’un point comme sur la figure et si je découpe le panoramique pour l’étendre à plat sur une table, est-ce que les droites horizontales de la scène seront encore horizontales? Ex: Quiktime VR

La caméra avec lentille Inconvénients du sténopé (3) Petite ouverture -> peu de lumière Effet de diffraction, i.e. courbure des rayons à cause des rebords d'objets opaques. Phénomène expliqué par l’optique ondulatoire La diffraction crée un flou. L'effet augmente si le diamètre de l'ouverture diminue. Si on augmente la taille de l'ouverture, la profondeur de champ diminue.

Flou créé par l’augmentation de l’ouverture disque flou ouverture Les images des points P1 et P2 se chevauchent sur le plan image. plan image

Exemple d’une image floue http://www.yorku.ca/eye/lensfn6.htm

Photos T. Fuhrmann

Solution: utiliser une lentille avantage: modèle équivalent au sténopé inconvénient: seuls des points à une distance donnée de la lentille sont au focus -> profondeur de champ limitée profondeur de champ: distance en z telle que le disque flou a un diamètre inférieur à 1 pixel (dépend de la taille de l'ouverture)

Modèle de lentille mince convergente On peut en faire la démonstration par l'application de la loi de la réfraction (Snell-Descartes) - voir Smith’s ou Forsyth. Un rayon entrant réfracté sur la frontière droite de la lentille est immédiatement réfracté sur la frontière gauche Corollaires: un rayon parallèle à l'axe optique passe par le point focal le rayon principal (passe par le centre optique) n'est pas dévié Ce sont les corollaires qui nous intéressent ici.

Schéma et équations** f x z f z Magnification: X’/X=f/(z-f)=(z’-f)/f rayon principal plan image f point focal image x z X’ point focal objet f centre optique Z’ z Magnification: X’/X=f/(z-f)=(z’-f)/f Attention: notation différente de Sonka p. 82

Ajustement mécanique d’une caméra Focus : Z’ L’iris : l’ouverture affecte la prof. de champ, la quantité de lumière et la distorsion puisqu’elle est plus faible au centre de la lentille Zoom : Z’ et F Lentille liquide pour téléphone Cellulaire (Philips)

Terminologie champ de vue lentilles Téléphoto, grand angle, télécentrique f-number d'une lentille: rapport f/diamètre *permet de comparer les lentilles de focales différentes ex: 2.8 (ouverture max), 4, 5.6, 8, 11 (les f-stops en photographie varient d’un rapport √2) résolution: distance minimum entre deux caractéristiques (objets) pour pouvoir les distinguer (1 pixel entre les deux), donc 2* taille d'un pixel plage dynamique: écart entre le plus petit et le plus grand niveau d'illuminance (exemple: 256 niveaux pour une image 8 bits) Les High Dynamic Range images (P. Debevec) **tirée de Forsyth Le champ de vue est 2 * l’angle phi sur la figure.

Lentilles réelles:terminologie lentilles épaisses aberrations: caractéristiques d'une lentille qui l'empêche de former l'image d'un point objet en un seul point du plan image. Un point a plutôt comme image une petite région floue. aberrations sphériques: s'appliquent aux points qui devraient être imagés sur l'axe optique (netteté -, dépend de l'ouverture). le "coma" est le type d'aberration pour les points hors axe aberration chromatique: liée à la dépendance de l'indice de réfraction à la longueur d'onde (moins fort pour le rouge que le bleu) distorsion radiale: souvent importante pour les grands angles indépendant de l'ouverture, n'affecte pas la netteté *tirée de Forsyth Dans ce cours, nous nous intéresserons surtout à la distorsion radiale.

* aberrations sphériques distorsion radiale: négative (pincushion) positive (barrel-type) Pour les aberrations chromatiques, le prisme nous montre que l’indice de réfraction est liée à la longueur d’onde. Cela signifie que la lumière bleue, par exemple, sera déviée différemment de la lumière rouge. Dans une caméra, (comme l’œil humain d’ailleurs) des objets d’une couleur peuvent être au focus alors que des objets d’une autre couleur peuvent être défocalisés même légèrement. D’ailleurs, la zone de la rétine appelée fovée ou plutôt la macula (zone de haute résolution) ne contient pas de cônes « adaptés au bleu ». aberration chromatique : la cause *tirée de Forsyth

Lentilles complexes Problème: les lentilles dévient les rayons et causent un déplacement ainsi qu'un flou pour le point idéal. But: réduire les aberrations Solution: un arrangement de lentilles *tirée de Forsyth Compromis: le vignettage Effet: l'illuminance décroît vers la périphérie de l'image Le vignetting s’apparente à un effet de “tunnel”. *tirée de Forsyth

L'œil humain (bref aperçu) . champ de vue: 160(L) x 135(H) degrés . résolution: 1/120 degrés (30s d'arc car 1 degré = 60 min) . f est environ 16 mm . photorécepteurs a) cônes: (couleur: 330-730 nm) violet au rouge 3 types environ 5 millions (à 10 millions) b) bâtonnets: environ 100 millions utiles pour la faible lumière* moins utiles pour la résolution spatiale malgré leur grand nombre c) la fovée (haute densité de cônes) *supporte jusqu’à 9 ordres de grandeur vs 2 à 4 pour un CCD *tirée de Nalwa

Les systèmes d'acquisition (aperçu) appareil photo numérique appareil photo + scanner caméra + connexion USB ou 1394 caméra + cartes d'acquisition (camera-link) Plusieurs liens commerciaux: http://www.1394imaging.com/en/resources/whitepapers/

Technologies de capteurs Tube vidicon CCD CMOS CVonline: Sensors and their Properties le standard NTSC, le balayage progressif les sources de bruit (dark current, blooming, jitter, …)

Capter la couleur 3 CCD ou filtre Bayer: lien sur filtres Bayer Le capteur Foveon: http://www.dpreview.com/news/0202/02021102foveonx3tech.asp

Sommaire des points essentiels Le sténopé: terminologie, un modèle, les équations (projecteur et prédiction d’un point image), les limites La caméra réelle: lentilles minces, les équations, aberrations et distorsion Connaissances générales sur les caméras et l’acquisition d’images (terminologie)