Unstructured Lumigraph Rendering C.Buehler M.Bosse L.McMillan S.Gortler M.Cohen Rendu par «Lumigraph » non-structuré Présenté par: Ana PAUL Guillaume GENER

Unstructured Lumigraph Rendering Introduction sur le rendu basé images Algorithmes précédents Light Field & Lumigraph View Dependent Texture Mapping Objectifs Algorithme Résultats

Rendu basé images Reconstruire des images à partir de photos, vidéos, images de synthèse. Peu ou pas d’informations sur la géométrie de la scène. Rendu moins coûteux. Exemple d’application: Quick Time VR

Light Field Rendering Le Light Slab Echantillonage Avantages Rendu indépendant de la complexité de la scène. Complexité linéaire: simple rééchantillonnage Inconvénients Taille du lightfield Prise de vues sur un plan

The Lumigraph Similaire au light Field. Prises de vues échantillonnées irrégulièrement. Prise de vues sur une hémisphère.

Exemples

View Dependent Texture Mapping Principe : 1. Calcul de la visibilité: Pour chaque polygone, liste les images dans lesquelles il est vu. 2. Combler les trous: Trouver une « texture » pour les polygones qui ne sont jamais vus. 3. Construction de View Maps: Pour chaque polygone, déterminer l’image la meilleure pour chaque angle de vue d’une hémisphère.

View Dependent Texture Mapping Avantages : Beaucoup moins d’images nécessaires. Rendu réaliste. Inconvénients: Il faut connaître la géométrie de la scène. Il faut connaître les informations de chacune des prises de vue. debevec_VDTM.mov

Objectifs Utilisation de proxies géométriques Uniformité épipolaire Sensibilité de résolution Entrées déstructurées Uniformité de rayon équivalent Continuité Angle de déviation minimal Temps réel

Utilisation de proxies géométriques information géométrique = proxy Un seul point considéré Suppression de toute caméra ne le «voyant» pas

Consistance épipolaire Reconstruction triviale du rayon désiré Pas besoin d’information géométrique

Sensibilité de résolution Distance de la caméra par rapport au point => flou

Entrées déstructurées Positions aléatoires des caméras Rééchantillonnement des image par le processus de rebinning

Uniformité de rayon équivalent Deux rayons désirés confondus => une seule caméra prise en compte

Continuité Couleur similaire pour deux points consécutifs Poids plus important selon la distance par rapport au point

Angle de déviation minimal Poids plus important selon la proximité angulaire du rayon désiré

Algorithme Entrée : Prise en compte des caractéristiques de la caméra Collection d’images Position de la caméra Prise en compte des caractéristiques de la caméra Résolution Champ de vision Visibilité

Caméra blending field Poids associé à chaque caméra Calculé selon les différentes contraintes

Les différents champs Deux angles : - angDiff - angThresh

Poids pour le blending : Après normalisation :

Résolution Soit Ce qui nous permet d’avoir comme combinaison des poids : Et d’obtenir finalement

Exemple Sans prendre en compte la résolution En appliquant l’algorithme

Champ de vue et visibilité Nouvelle contrainte de poids : Après normalisation :

Rendu temps réel Par sélection de point Chaque sommet de la triangulation = une caméra

Différentes étapes Chaque triangle = une seule région planaire => permet le plaquage de texture en hardware Un sommet pour chaque centre de caméra => consistance épipolaire Ajout d’une grille régulière de sommets dans le plan désiré Triangulation du plan

N rendus -> 1 pixel Rendu effectif: N caméras et N textures associées à un point Rendu indépendant sur chacune => N Images Superposées à l’aide de transparence

Résultats

Références Efficient View-Dependent Image-Based Rendering with Projective Texture-Mapping Paul Debevec, Yizhou Yu, and George Borshukov Light Field Rendering Marc Levoy and Pat Hanrahan The Lumigraph Steven J. Gortler Radek Grzeszczuk Richard Szeliski Michael F. Cohen