La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Méthodes de rendu utilisant les images Nicolas Holzschuch iMAGIS/GRAVIR IMAG

Présentations similaires


Présentation au sujet: "Méthodes de rendu utilisant les images Nicolas Holzschuch iMAGIS/GRAVIR IMAG"— Transcription de la présentation:

1 Méthodes de rendu utilisant les images Nicolas Holzschuch iMAGIS/GRAVIR IMAG

2 Rendu « classique » Modèle géométrique –Modeleurs, modélisation,... Affichage –Z-buffer –Interpolation des couleurs Illumination Plaquage de texture

3 Problèmes Difficile de modéliser le réel –Prend du temps –Prend de la place en mémoire –N'est jamais aussi bon que le réel Complexité variable en fonction de la position –Vitesse de rendu variable –Mauvais pour l'interactivité

4 Utiliser les images Qualité visuelle parfaite –Modèle du monde réel idéal si photo –Image de synthèse poussée Affichage indépendant de la complexité géométrique Pourquoi on n'y a pas pensé plus tôt ? –Comment on bouge le point de vue ? Besoin d'informations géométriques supplémentaires Informations partielles sur le monde –Algorithmes pour boucher les trous

5 Informations géométriques Fournies par l'utilisateur Implicites : –L'appareil n'a pas bougé, seulement tourné –Correspondances entre deux vues Explicites : –Profondeur à chaque pixel –Modèle géométrique simplifié –Modèle géométrique complexe

6 Difficultés Profondeur, modèle géométrique : –Évident pour une image de synthèse –Difficile pour un objet réel Vues multiples d'un objet : –Facile avec un objet réel –Coûteux avec des images de synthèse

7 Degrés de liberté Tourner l'observateur sans déplacement Tourner l'objet sans déplacement Tourner et déplacer l'observateur Déplacement libre de l'observateur –Sans sortir des limites du modèle

8 Matériel nécessaire Caméra libre –Grille de calibration Caméra tournant sur un pied –Calibrée, pied calibré, déplacement cylindrique Caméra montée sur potence –Déplacement commandé par ordinateur Règle intuitive : –Plus le matériel est simple, plus il faudra fournir d'informations supplémentaires

9 Classification Recherches en cours –Explosion depuis 1995 –Nombreuses directions de recherche –Pas de vue d'ensemble, unifiée Pas de classification simple Pas de cours ?

10 Photos

11 Images de Synthèse

12

13

14 Quicktime VR Photos panoramiques –Projection cylindrique –Construction semi-autom. Warping : –Conversion en image plane Interpolation entre les panoramas

15 Séquence de travail

16 Acquisition

17

18 Construction du panorama semi-automatique –En théorie c'est automatique mais ça rate 1 ou 2 images –Recouvrement entre les images (> 50 %) Règlage luminosité-contraste automatique

19 Warping

20 Image-Based Rendering Fondements mathématiques –Fonction plénoptique Échantillonnée plus ou moins régulièrement Interpolation entre les échantillons Processus complet : –Acquisition (images cylindriques) –Mise en correspondance des cylindres –Reconstruction de la fonction

21 La fonction plénoptique P(,V x,V y,V z,t)

22 Acquisition Images cylindriques Caméra en rotation sur un axe Retrouver les paramètres de la caméra et les angles de rotation

23 Acquisition des cylindres 2 images vues d'un même point de vue : (x,y) : pixel dans image I. (x',y') position correspondante dans image I'.

24 Calibration H i : transformation (homogène) –S : part intrinsèque (liée à la caméra) –R i : part extrinsèque (la rotation de la caméra) –R i : rotation d'axe y, d'angle. –Premier objectif : déterminer les R i. –Ensuite, on en déduira S, puis on affinera les R i

25 Calibration Près du centre optique de l'image, R i agit presque comme une translation en x. –(C x,C y ) : intersection de l'axe de la caméra et du plan de l'image –Première approximation : milieu de l'image Trouver la translation en x qui minimise la distortion. Puis : Première estimation des R i et de f

26 Calibration de la caméra S= x z P – : distorsion. Déviation par rapport à une grille régulière – : aspect ratio de la grille –f : focale (en pixels) –(C x,C y ) : intersection de l'axe de la caméra et du plan de l'image – x, z : imperfections variées de la caméra

27 Calibration de la caméra On minimise la fonction : Avec les données de départ : On réinjecte (C x,C y ) dans l'étape précédente

28 Vues cylindriques

29 Correspondance entre les cylindres Deux cylindres de vues –Établir les positions relatives des cylindres –Centre du cylindre, rotation des axes, champ vertical, position de léquateur = 6 inconnues –champ vertical, position de léquateur : déja estimées dans létape précédente. Lutilisateur désigne des points de lespace dans les deux cylindres –Un point sur un cylindre = un rayon dans lespace –Un point sur chaque cylindre : deux rayons –Intersection des rayons : on a la position relative

30 Correspondance entre les cylindres Les rayons ne se rencontrent pas : –On prend le point le plus proche des deux rayons –On prend plusieurs points de correspondance de 12 à 500 –Minimisation dune fonction à 12 variables 500 points à la main ? –géométrie épipolaire du cylindre –épipole : droite, projection dun rayon sur une vue –pour le cylindre : ce nest pas une droite

31 Géométrie épipolaire du cylindre Rayon sur le cylindre a : ( a,v a ) Ligne paramétrée sur le cylindre b : v( )

32 Reconstruction de la fonction plénoptique

33 Images de référence (déjà calculées, cylindriques) Images de disparité : –Pour chaque sur cylindre a, trouver –Une image de disparité par paire de cylindres Nouveau point V : –On a la disparité en fonction de cot( ) et cos( A - ) –On stocke cot( ) dans les images de disparité –On précalcule cos( A - ) pour chaque valeur de. –Nouvelle image de disparité en temps réel

34 Reprojection plane Une fois quon a la disparité autour de V, on reprojette sur un plan En fait, on combine les deux étapes : –On a x(,v) et y(,v) coordonnées de la projection du pixel (,v) de limage cylindrique A –En tenant compte de la disparité avec le cylindre B –Plusieurs pixels peuvent se projeter au même endroit problèmes de visibilité ordre de traitement des pixels de larrière vers lavant

35 De larrière vers lavant

36 On y est presque La grille produite par la reprojection de limage A est irrégulière : –On ré-échantillonne –footprint : contribution de chaque pixel de A à limage –taille du splatting : en fonction des disparités et des dérivées épipolaires La méthode de visibilité traite les « plis » du maillage –Il reste les « déchirures » : Interpolation entre les pixels voisins Combinaison de plusieurs images de référence

37 Résultats

38 Lightfield/Lumigraph Réduction de la fonction plénoptique 4 dimensions au lieu de 5 Plus facile à interpoler Pas d'occlusions –Permet de tourner autour d'un objet

39 4 dimensions Chaque image est une tranche 2D d'une fonction 4D Créer le Lightfield : insérer des images 2D dans un champ 4D Paramétrisation ? –2 plans donnés, chacun paramétré –Une ligne est paramétrée par ses intersections avec les deux plans : (u,v) et (s,t) –L(u,v,s,t)

40 Light slab Ensemble des rayons qui traversent deux quadrilatères Représentation efficace : –Conversions linéaires –Peu de calculs

41 Espace des droites Droite définie par (r, ) Échantillonnage régulier et complet

42 Échantillonnage complet

43 Échantillonnage régulier

44 Lightfield : création Par images de synthèse : –Multiples images –(x,y) devient (s,t) –Implique perspectives tordues –Pré-filtrage pour anti-aliasing Par photos : –Caméra contrôlée par ordinateur

45

46 Caméra contrôlée par ordinateur Mouvement plan de la caméra Position connue 4 vues : tourner l'objet Tourner la lumière en même temps

47 Représentation

48 Lightfield :stockage Très gros (1.6 Go) Très redondant Compression : –Discrétisation vectorielle (1:24) –Suivie de compression LZW (1:5) Décompression : –LZW au chargement –Dé-discrétisation au vol

49 Lightfield : affichage Rayon partant de (x,y) coupe le light slab Calculer les coordonnées (u,v,s,t) –Rayon intersecte les 2 quadrilatères –Coordonnées des points d'intersection –Faisable avec la texture matrix Échantillonner la radiance en (u,v,s,t) –Interpolation des valeurs aux voisins –Bilinéaire/quadrilinéaire Plusieurs light slabs : on les fait tous

50

51 Interpolation

52

53

54 Lumigraph Même paramétrisation 4D Même principe à l'affichage Échantillonnage irrégulier : –Photos de l'objet sur une mire –Reconstruction de la fonction –Boucher les trous dans l'échantillonnage : Algorithme hiérarchique de reconstruction

55

56

57 Layered Depth Images Une image… et quelques informations Pour chaque pixel : –On stocke l'objet visible –Et les objets qui sont derrière Affichage simple : –Se traite comme une image –Pas de trous dans l'affichage

58 LDI : construction À partir d'un lanceur de rayon : facile À partir du monde réel : –Caméra avec information de profondeur –Caméra virtuelle, source de la LDI –Plusieurs images, reprojetées sur la caméra virtuelle –Stockage des pixels en ordre de profondeur –Pixels différents avec même profondeur : on garde Conditions d'éclairage différentes Avec un Z-buffer : idem.

59 LDI : affichage incrémental Nouvelle caméra Re-projeter la LDI Subdivision en 4 zones (comme IBR) Travail pixel par pixel, en ordre (cf. IBR) Pour chaque pixel, de l'arrière vers l'avant Projection des pixels : travail incrémental –Nouvelle position calculée incrémentalement à partir du pixel précédent. Réduit les calculs.

60 Splatting Un pixel de la LDI se projette sur la nouvelle image Splatting : influence du pixel de la LDI sur les pixels de l'image Taille idéale du noyau : dépend de la normale –Stocker un index pour calculer la taille du noyau ?

61 Rendu en parallèle Séparer en 4 feuilles (cf. IBR) –Pas forcément équilibré –Plus de 4 processeurs ? Séparer en plusieurs zones –Droites passant par l'épipole –Zones non rectangulaires –Pixels-frontières partagés entre zones –Deux passes

62 LDI : efficacité Pentium Pro, image 256x256, LDI 320x320, – 5 fps 4 R10000, LDI 256x256, –19 fps (1 LDI), –3.5 fps (6 LDI)

63 Modèle hybride Partir de vues simples (caméra standard) Premier modèle simple donné par l'utilisateur Correspondance avec images : –Taille, position, paramètres –Textures à plaquer

64

65 Modèle géométrique simple Construction par blocs : –Cubes, prismes… –Relations entre blocs : contraintes de placement Bien adapté aux scènes architecturales Facile à manipuler Peu de paramètres –Pratique pour la reconstruction

66

67 Reconstruction L'utilisateur identifie les arêtes du modèle sur l'image Trouver les paramètres du modèle et de la caméra Minimiser la distance entre les arêtes du modèle, reprojetées, et les arêtes identifiées : Err i erreur pour l'arête i

68 Erreur pour une arête

69 Arête (v,d) Caméra (R j,t j ) Plan image : z=-f Droite : m x x+m y y-m z f=0

70 Erreur pour une arête Minimiser O On connaît aussi les dérivées de O –Méthode de Newton-Raphson

71 Estimation de départ Éviter les minima locaux Partir d'une estimation proche de la solution 2 étapes : –Estimer la rotation de la caméra –Estimer la translation de la caméra et les paramètres du modèle

72 Rotation de la caméra Si v est connu, on a une contrainte sur R j –Arêtes horizontales, verticales identifiables –Minimiser O 1 :

73 Paramètres et position de la caméra Les points de l'arête sont sur un plan de normale m, passant par la caméra Minimiser O 2 :

74 Exemple

75

76 View-Dependent Texture Mapping Chaque caméra agit comme un projecteur de diapositive Certains détails du modèle ne sont pas touchés par la diapositive (auto-ombrage) On combine les différentes images –Plusieurs images sur le même point du modèle –Informations contradictoires –Moyenne pondérée

77

78 Moyenne pondérée par 1/

79

80 Relief et textures Textures stéréo Relief textures

81 Rappel : stéréo classique 2 images Trouver les correspondances entre les deux images En déduire la profondeur Problème : –Ici, les images sont prises de points éloignés –Difficile de trouver les correspondances

82 Model-Based Stereo On connaît un modèle approximatif On n'a plus qu'à trouver la différence par rapport au modèle Deuxième image reprojetée en utilisant le modèle Disparités entre image originale et image reprojetée Carte de profondeur

83 Exemple

84

85 Relief Textures

86 Texture avec profondeur Pré-traitement avant affichage Trouver le pré-traitement p tel que m o p=w m texture-mapping standard

87 Pré-traitement (u s,v s ) pixel source de la texture displ(u s,v s ) profondeur du pixel (u i,v i ) coordonnées du même pixel dans la texture intermédiaire

88 Pré-traitement k 1, k 2, k 3 dépendent des caméras utilisées Coordonnées séparées Pas de travail si displ(u s,v s ) = 0 Déplacement stocké dans alpha channel Simplification des paramètres : –Texture intermédiaire avec même origine et axes que texture originale –Paramètres plus faciles à calculer

89

90 Visibilité : de l'arrière vers l'avant Comme d'habitude : –On part des bords, et on va vers l'épipole

91 Construction de textures pré-traitées Algorithme en deux passes : –une horizontale –une verticale

92

93 Modèles d'objets Relief-textures pour les objets

94 Exemple

95

96 Bibliographie Quicktime VR : View interpolation for image synthesis; Shenchang Eric Chen and Lance Williams; proceedings of the 20th annual conference on Computer graphics, 1993, p QuickTime VR: an image-based approach to virtual environment navigation; Shenchang Eric Chen; proceedings of the 22nd annual ACM conference on Computer graphics, 1995, p Image-based Rendering : Plenoptic modeling: an image-based rendering system; Leonard McMillan and Gary Bishop; proceedings of the 22nd annual ACM conference on Computer graphics, 1995, p Light Field : Light field rendering; Marc Levoy and Pat Hanrahan; proceedings of the 23rd annual conference on Computer graphics, 1996, p Lumigraph : The lumigraph; Steven J. Gortler, Radek Grzeszczuk, Richard Szeliski and Michael F. Cohen; proceedings of the 23rd annual conference on Computer graphics, 1996, p migraph.htm

97 Bibliographie Layered Depth Images : Layered depth images ; Jonathan Shade, Steven Gortler, Li-wei He and Richard Szeliski; proceedings of the 25th annual conference on Computer Graphics, 1998, p Rendering Layered Depth Images, Steven J. Gortler, Li-wei He, Michael F. Cohen, MSR- Tech-Report, 1997 ftp://ftp.research.microsoft.com/pub/tr/tr ps Efficient warping for architectural walkthroughs using layered depth images; Voicu Popescu, Anselmo Lastra, Daniel Aliaga and Manuel de Oliveira Neto; proceedings of the conference on Visualization '98, 1998, p hitecturalWalkthroughs.html Modèle hybride : Modeling and rendering architecture from photographs: a hybrid geometry- and image- based approach; Paul E. Debevec, Camillo J. Taylor and Jitendra Malik; proceedings of the 23rd annual conference on Computer graphics, 1996, p Relief Textures : Relief texture mapping; Manuel M. Oliveira, Gary Bishop and David McAllister; proceedings of the conference on Computer graphics, 2000, p


Télécharger ppt "Méthodes de rendu utilisant les images Nicolas Holzschuch iMAGIS/GRAVIR IMAG"

Présentations similaires


Annonces Google