Télécharger la présentation
La présentation est en train de télécharger. S'il vous plaît, attendez
1
Méthodes de rendu utilisant les images
Nicolas Holzschuch iMAGIS/GRAVIR IMAG
2
Rendu « classique » Modèle géométrique Affichage Illumination
Modeleurs, modélisation,... Affichage Z-buffer Interpolation des couleurs Illumination Plaquage de texture
3
Problèmes Difficile de modéliser le réel
Prend du temps Prend de la place en mémoire N'est jamais aussi bon que le réel Complexité variable en fonction de la position Vitesse de rendu variable Mauvais pour l'interactivité
4
Utiliser les images Qualité visuelle parfaite
Modèle du monde réel idéal si photo Image de synthèse poussée Affichage indépendant de la complexité géométrique Pourquoi on n'y a pas pensé plus tôt ? Comment on bouge le point de vue ? Besoin d'informations géométriques supplémentaires Informations partielles sur le monde Algorithmes pour boucher les trous
5
Informations géométriques
Fournies par l'utilisateur Implicites : L'appareil n'a pas bougé, seulement tourné Correspondances entre deux vues Explicites : Profondeur à chaque pixel Modèle géométrique simplifié Modèle géométrique complexe
6
Difficultés Profondeur, modèle géométrique :
Évident pour une image de synthèse Difficile pour un objet réel Vues multiples d'un objet : Facile avec un objet réel Coûteux avec des images de synthèse
7
Degrés de liberté Tourner l'observateur sans déplacement
Tourner l'objet sans déplacement Tourner et déplacer l'observateur Déplacement libre de l'observateur Sans sortir des limites du modèle
8
Matériel nécessaire Caméra libre Caméra tournant sur un pied
Grille de calibration Caméra tournant sur un pied Calibrée, pied calibré, déplacement cylindrique Caméra montée sur potence Déplacement commandé par ordinateur Règle intuitive : Plus le matériel est simple, plus il faudra fournir d'informations supplémentaires
9
Classification Recherches en cours Explosion depuis 1995
Nombreuses directions de recherche Pas de vue d'ensemble, unifiée Pas de classification simple Pas de cours ?
10
Photos
11
Images de Synthèse
14
Quicktime VR Photos panoramiques Warping :
Projection cylindrique Construction semi-autom. Warping : Conversion en image plane Interpolation entre les panoramas
15
Séquence de travail
16
Acquisition
18
Acquisition Construction du panorama semi-automatique
En théorie c'est automatique mais ça rate 1 ou 2 images Recouvrement entre les images (> 50 %) Règlage luminosité-contraste automatique
19
Warping
20
Image-Based Rendering
Fondements mathématiques Fonction plénoptique Échantillonnée plus ou moins régulièrement Interpolation entre les échantillons Processus complet : Acquisition (images cylindriques) Mise en correspondance des cylindres Reconstruction de la fonction
21
La fonction plénoptique
P(q,f,l,Vx,Vy,Vz,t)
22
Acquisition Images cylindriques Caméra en rotation sur un axe
Retrouver les paramètres de la caméra et les angles de rotation
23
Acquisition des cylindres
2 images vues d'un même point de vue : (x,y) : pixel dans image I. (x',y') position correspondante dans image I'.
24
Calibration Hi : transformation (homogène)
S : part intrinsèque (liée à la caméra) Ri : part extrinsèque (la rotation de la caméra) Ri : rotation d'axe y, d'angle q. Premier objectif : déterminer les Ri. Ensuite, on en déduira S, puis on affinera les Ri
25
Calibration Près du centre optique de l'image, Ri agit presque comme une translation en x. (Cx,Cy) : intersection de l'axe de la caméra et du plan de l'image Première approximation : milieu de l'image Trouver la translation en x qui minimise la distortion. Puis : Première estimation des Ri et de f
26
Calibration de la caméra
S=WxWzP s : distorsion. Déviation par rapport à une grille régulière r : aspect ratio de la grille f : focale (en pixels) (Cx,Cy) : intersection de l'axe de la caméra et du plan de l'image Wx, Wz : imperfections variées de la caméra
27
Calibration de la caméra
On minimise la fonction : Avec les données de départ : On réinjecte (Cx,Cy) dans l'étape précédente
28
Vues cylindriques
29
Correspondance entre les cylindres
Deux cylindres de vues Établir les positions relatives des cylindres Centre du cylindre, rotation des axes, champ vertical, position de l’équateur = 6 inconnues champ vertical, position de l’équateur : déja estimées dans l’étape précédente. L’utilisateur désigne des points de l’espace dans les deux cylindres Un point sur un cylindre = un rayon dans l’espace Un point sur chaque cylindre : deux rayons Intersection des rayons : on a la position relative
30
Correspondance entre les cylindres
Les rayons ne se rencontrent pas : On prend le point le plus proche des deux rayons On prend plusieurs points de correspondance de 12 à 500 Minimisation d’une fonction à 12 variables 500 points à la main ? géométrie épipolaire du cylindre épipole : droite, projection d’un rayon sur une vue pour le cylindre : ce n’est pas une droite
31
Géométrie épipolaire du cylindre
Rayon sur le cylindre a : (a,va) Ligne paramétrée sur le cylindre b : v()
32
Reconstruction de la fonction plénoptique
33
Reconstruction de la fonction plénoptique
Images de référence (déjà calculées, cylindriques) Images de disparité : Pour chaque sur cylindre a, trouver Une image de disparité par paire de cylindres Nouveau point V : On a la disparité en fonction de cot() et cos(A-) On stocke cot() dans les images de disparité On précalcule cos(A-) pour chaque valeur de . Nouvelle image de disparité en temps réel
34
Reprojection plane Une fois qu’on a la disparité autour de V, on reprojette sur un plan En fait, on combine les deux étapes : On a x(,v) et y(,v) coordonnées de la projection du pixel (,v) de l’image cylindrique A En tenant compte de la disparité avec le cylindre B Plusieurs pixels peuvent se projeter au même endroit problèmes de visibilité ordre de traitement des pixels de l’arrière vers l’avant
35
De l’arrière vers l’avant
36
On y est presque La grille produite par la reprojection de l’image A est irrégulière : On ré-échantillonne footprint : contribution de chaque pixel de A à l’image taille du splatting : en fonction des disparités et des dérivées épipolaires La méthode de visibilité traite les « plis » du maillage Il reste les « déchirures » : Interpolation entre les pixels voisins Combinaison de plusieurs images de référence
37
Résultats
38
Lightfield/Lumigraph
Réduction de la fonction plénoptique 4 dimensions au lieu de 5 Plus facile à interpoler Pas d'occlusions Permet de tourner autour d'un objet
39
4 dimensions Chaque image est une tranche 2D d'une fonction 4D
Créer le Lightfield : insérer des images 2D dans un champ 4D Paramétrisation ? 2 plans donnés, chacun paramétré Une ligne est paramétrée par ses intersections avec les deux plans : (u,v) et (s,t) L(u,v,s,t)
40
Light slab Ensemble des rayons qui traversent deux quadrilatères
Représentation efficace : Conversions linéaires Peu de calculs
41
Espace des droites Droite définie par (r,q)
Échantillonnage régulier et complet
42
Échantillonnage complet
43
Échantillonnage régulier
44
Lightfield : création Par images de synthèse : Par photos :
Multiples images (x,y) devient (s,t) Implique perspectives tordues Pré-filtrage pour anti-aliasing Par photos : Caméra contrôlée par ordinateur
46
Caméra contrôlée par ordinateur
Mouvement plan de la caméra Position connue 4 vues : tourner l'objet Tourner la lumière en même temps
47
Représentation
48
Lightfield :stockage Très gros (1.6 Go) Très redondant Compression :
Discrétisation vectorielle (1:24) Suivie de compression LZW (1:5) Décompression : LZW au chargement Dé-discrétisation au vol
49
Lightfield : affichage
Rayon partant de (x,y) coupe le light slab Calculer les coordonnées (u,v,s,t) Rayon intersecte les 2 quadrilatères Coordonnées des points d'intersection Faisable avec la texture matrix Échantillonner la radiance en (u,v,s,t) Interpolation des valeurs aux voisins Bilinéaire/quadrilinéaire Plusieurs light slabs : on les fait tous
51
Interpolation
54
Lumigraph Même paramétrisation 4D Même principe à l'affichage
Échantillonnage irrégulier : Photos de l'objet sur une mire Reconstruction de la fonction Boucher les trous dans l'échantillonnage : Algorithme hiérarchique de reconstruction
57
Layered Depth Images Une image… et quelques informations
Pour chaque pixel : On stocke l'objet visible Et les objets qui sont derrière Affichage simple : Se traite comme une image Pas de trous dans l'affichage
58
LDI : construction À partir d'un lanceur de rayon : facile
À partir du monde réel : Caméra avec information de profondeur Caméra virtuelle, source de la LDI Plusieurs images, reprojetées sur la caméra virtuelle Stockage des pixels en ordre de profondeur Pixels différents avec même profondeur : on garde Conditions d'éclairage différentes Avec un Z-buffer : idem.
59
LDI : affichage incrémental
Nouvelle caméra Re-projeter la LDI Subdivision en 4 zones (comme IBR) Travail pixel par pixel, en ordre (cf. IBR) Pour chaque pixel, de l'arrière vers l'avant Projection des pixels : travail incrémental Nouvelle position calculée incrémentalement à partir du pixel précédent. Réduit les calculs.
60
Splatting Un pixel de la LDI se projette sur la nouvelle image
Splatting : influence du pixel de la LDI sur les pixels de l'image Taille idéale du noyau : dépend de la normale Stocker un index pour calculer la taille du noyau ?
61
Rendu en parallèle Séparer en 4 feuilles (cf. IBR)
Pas forcément équilibré Plus de 4 processeurs ? Séparer en plusieurs zones Droites passant par l'épipole Zones non rectangulaires Pixels-frontières partagés entre zones Deux passes
62
LDI : efficacité Pentium Pro, image 256x256, LDI 320x320,
5 fps 4 R10000, LDI 256x256, 19 fps (1 LDI), 3.5 fps (6 LDI)
63
Modèle hybride Partir de vues simples (caméra standard)
Premier modèle simple donné par l'utilisateur Correspondance avec images : Taille, position, paramètres Textures à plaquer
65
Modèle géométrique simple
Construction par blocs : Cubes, prismes… Relations entre blocs : contraintes de placement Bien adapté aux scènes architecturales Facile à manipuler Peu de paramètres Pratique pour la reconstruction
67
Reconstruction L'utilisateur identifie les arêtes du modèle sur l'image Trouver les paramètres du modèle et de la caméra Minimiser la distance entre les arêtes du modèle, reprojetées, et les arêtes identifiées : Erri erreur pour l'arête i
68
Erreur pour une arête
69
Erreur pour une arête Arête (v,d) Caméra (Rj,tj) Plan image : z=-f
Droite : mxx+myy-mzf=0
70
Erreur pour une arête Minimiser O On connaît aussi les dérivées de O
Méthode de Newton-Raphson
71
Estimation de départ Éviter les minima locaux
Partir d'une estimation proche de la solution 2 étapes : Estimer la rotation de la caméra Estimer la translation de la caméra et les paramètres du modèle
72
Rotation de la caméra Si v est connu, on a une contrainte sur Rj
Arêtes horizontales, verticales identifiables Minimiser O1 :
73
Paramètres et position de la caméra
Les points de l'arête sont sur un plan de normale m, passant par la caméra Minimiser O2 :
74
Exemple
76
View-Dependent Texture Mapping
Chaque caméra agit comme un projecteur de diapositive Certains détails du modèle ne sont pas touchés par la diapositive (auto-ombrage) On combine les différentes images Plusieurs images sur le même point du modèle Informations contradictoires Moyenne pondérée
78
Moyenne pondérée par 1/a
80
Relief et textures Textures stéréo Relief textures
81
Rappel : stéréo classique
2 images Trouver les correspondances entre les deux images En déduire la profondeur Problème : Ici, les images sont prises de points éloignés Difficile de trouver les correspondances
82
Model-Based Stereo On connaît un modèle approximatif
On n'a plus qu'à trouver la différence par rapport au modèle Deuxième image reprojetée en utilisant le modèle Disparités entre image originale et image reprojetée Carte de profondeur
83
Exemple
85
Relief Textures
86
Relief Textures Texture avec profondeur Pré-traitement avant affichage
Trouver le pré-traitement p tel que mop=w m texture-mapping standard
87
Pré-traitement (us,vs) pixel source de la texture
displ(us,vs) profondeur du pixel (ui,vi) coordonnées du même pixel dans la texture intermédiaire
88
Pré-traitement k1, k2, k3 dépendent des caméras utilisées
Coordonnées séparées Pas de travail si displ(us,vs) = 0 Déplacement stocké dans alpha channel Simplification des paramètres : Texture intermédiaire avec même origine et axes que texture originale Paramètres plus faciles à calculer
90
Visibilité : de l'arrière vers l'avant
Comme d'habitude : On part des bords, et on va vers l'épipole
91
Construction de textures pré-traitées
Algorithme en deux passes : une horizontale une verticale
93
Modèles d'objets Relief-textures pour les objets
94
Exemple
95
Exemple
96
Bibliographie Quicktime VR : Image-based Rendering : Light Field :
View interpolation for image synthesis; Shenchang Eric Chen and Lance Williams; proceedings of the 20th annual conference on Computer graphics, 1993, p QuickTime VR: an image-based approach to virtual environment navigation; Shenchang Eric Chen; proceedings of the 22nd annual ACM conference on Computer graphics, 1995, p Image-based Rendering : Plenoptic modeling: an image-based rendering system; Leonard McMillan and Gary Bishop; proceedings of the 22nd annual ACM conference on Computer graphics, 1995, p Light Field : Light field rendering; Marc Levoy and Pat Hanrahan; proceedings of the 23rd annual conference on Computer graphics, 1996, p Lumigraph : The lumigraph; Steven J. Gortler, Radek Grzeszczuk, Richard Szeliski and Michael F. Cohen; proceedings of the 23rd annual conference on Computer graphics, 1996, p
97
Bibliographie Layered Depth Images : Modèle hybride :
Layered depth images ; Jonathan Shade, Steven Gortler, Li-wei He and Richard Szeliski; proceedings of the 25th annual conference on Computer Graphics, 1998, p Rendering Layered Depth Images, Steven J. Gortler, Li-wei He, Michael F. Cohen, MSR-Tech-Report, 1997 ftp://ftp.research.microsoft.com/pub/tr/tr ps Efficient warping for architectural walkthroughs using layered depth images; Voicu Popescu, Anselmo Lastra, Daniel Aliaga and Manuel de Oliveira Neto; proceedings of the conference on Visualization '98, 1998, p Modèle hybride : Modeling and rendering architecture from photographs: a hybrid geometry- and image-based approach; Paul E. Debevec, Camillo J. Taylor and Jitendra Malik; proceedings of the 23rd annual conference on Computer graphics, 1996, p Relief Textures : Relief texture mapping; Manuel M. Oliveira, Gary Bishop and David McAllister; proceedings of the conference on Computer graphics, 2000, p
Présentations similaires
